- 元OpenAI CTOのミラ・ムラティ氏が設立したThinking Machines Labが分散LLM微調整API「Tinker」を発表
- LoRA技術により計算資源を共有し、研究者が複雑なインフラ管理から解放される
- プリンストン大学やスタンフォード大学など主要研究機関が既に導入済み
元OpenAI CTOが挑む新たなAI研究基盤の構築
ChatGPTやDALL-Eの開発を指揮した元OpenAI CTOのミラ・ムラティ氏が2025年2月に設立したThinking Machines Labが、分散型大規模言語モデル微調整API「Tinker」を正式発表しました[1]。同社は7月に20億ドルの資金調達を完了し、企業価値120億ドルでNvidiaやAMDなどの大手テック企業からの出資を受けています[2]。Tinkerは研究者や開発者が複雑な分散訓練インフラを管理することなく、アルゴリズムとデータに集中できる環境を提供することを目的としています。
このサービスは現在プライベートベータ版として提供されており、プリンストン大学、スタンフォード大学、カリフォルニア大学バークレー校、Redwood Researchなどの主要研究機関が既に採用しています[3]。Tinkerは研究者がローカルのPython環境で訓練ループを記述し、それを分散クラスター上で実行できる革新的なアプローチを採用しています。
ムラティ氏の経歴を考えると、この取り組みは単なるツール提供以上の意味を持ちます。OpenAIでの経験から、AI研究の民主化がイノベーションの加速に不可欠であることを理解しているのでしょう。従来、大規模モデルの微調整には膨大な計算資源と専門知識が必要でしたが、Tinkerはこれらの障壁を取り除き、より多くの研究者がAI開発に参加できる環境を構築しています。これは、AI研究の寡占化を防ぎ、多様な視点からのイノベーションを促進する重要な取り組みと言えるでしょう。
LoRA技術による効率的な微調整とコスト削減
Tinkerの技術的な核心は、LoRA(Low-Rank Adaptation)技術の活用にあります[4]。この技術により、モデル全体の重みを変更する代わりに、小さなアドオンモジュールのみを訓練することで効率的な微調整を実現しています。これにより、複数の訓練実行間で計算資源を共有し、大幅なコスト削減を可能にしています[5]。
サービスは4つの基本関数(forward_backward、optim_step、sample、save_state)を提供し、研究者が訓練プロセスの全側面を制御できます[6]。また、自動スケジューリングと障害回復機能を備えた管理サービスとして動作し、Qwen-235B-A22Bなどの大規模なMixture-of-Expertsモデルを含む多様なオープンウェイトモデルをサポートしています。
LoRA技術の採用は非常に戦略的な判断です。従来の全パラメータ微調整と比較して、LoRAは計算コストを大幅に削減しながら、多くの場合で同等の性能を達成できます。これは、研究予算が限られた学術機関や小規模な研究チームにとって画期的な変化をもたらします。例えば、従来数百万円かかっていた大規模モデルの微調整が、数万円程度で実現できる可能性があります。これにより、AI研究の参入障壁が大幅に下がり、より多様なアプローチや応用分野での実験が可能になるでしょう。
実用的な応用例と研究コミュニティへの影響
Tinkerの実用性は、既に公開されている具体的な応用例からも確認できます。AnyscaleとのコラボレーションによるText-to-SQLモデルの微調整事例では、Qwen-8Bを使用したデータ生成から最終的なモデルデプロイメントまでの完全なワークフローが実証されています[7]。また、公式のTinker Cookbookライブラリには、チャット学習、数学的推論、選好学習、ツール使用、プロンプト蒸留、マルチエージェント最適化など6つの主要な訓練シナリオの実装例が含まれています[8]。
研究機関からの反応も非常に好意的で、「エンジニアリングのオーバーヘッドを削減し、研究に集中できる」との評価を受けています[9]。現在は無料でアクセス可能ですが、今後数週間以内に使用量ベースの料金体系が導入される予定です。
これらの応用例は、Tinkerが単なる技術デモではなく、実際の研究開発に即座に活用できるツールであることを示しています。特に注目すべきは、異なる分野(自然言語処理、データベース、推論など)での応用可能性の広さです。これは、AI研究の専門化が進む中で、分野横断的な研究を促進する可能性があります。また、研究者が技術的な実装に時間を費やす代わりに、アイデアの検証や新しいアプローチの探索により多くの時間を割けるようになることで、研究サイクルの加速も期待できるでしょう。
まとめ
Thinking Machines Labの「Tinker」発表は、AI研究の民主化における重要な転換点を示しています。元OpenAI CTOの豊富な経験と120億ドルの企業価値を背景に、LoRA技術を活用した効率的な分散微調整APIを提供することで、研究者がインフラの複雑さから解放され、本来の研究活動に集中できる環境を実現しています。主要研究機関での採用実績と具体的な応用例は、このサービスの実用性と将来性を裏付けており、AI研究コミュニティ全体の発展に大きく寄与することが期待されます。
参考文献
- [1] Thinking Machines launches Tinker language model fine-tuning service
- [2] Thinking Machines launches Tinker language model fine-tuning service
- [3] Announcing Tinker
- [4] Tinker
- [5] Announcing Tinker
- [6] Tinker: a training API for researchers and developers
- [7] Fine-tuning a Text-to-SQL Model with Tinker and Ray
- [8] thinking-machines-lab/tinker-cookbook
- [9] Tinker
*この記事は生成AIを活用しています。*細心の注意を払っていますが、情報には誤りがある可能性があります。