AI大模型競争はますます激化し、後半戦は推論とデータに焦点が当てられています。
2月23日、イーロン・マスクはAIモデル競争に関する分析を「分析が素晴らしい」と称賛しました。先週、マスク率いるxAIはGrok 3大モデルを発表したばかりです。
このツイートはGavin Baker氏によるもので、彼はAI産業の構造変化が加速しており、OpenAIの先行者優位性が薄れ、Microsoftも撤退を選択していると述べています。
Gavin氏はまた、
今後はデータが競争の中心となり、ユニークで価値のあるデータを入手できない最先端モデルは、史上最も急速に価値が下落する資産になると予想しています。Metaなどの巨大企業は、データの独占と計算能力の規模によって競争力を構築し、中小企業は差別化された展開とコストの最適化に焦点を当てています。
しかし、Gavin氏はxAIとOpenAIに依然として期待を寄せており、OpenAIが5年後もこの分野のリーダーであるならば、それは先行者優位性と規模の優位性、そして製品の影響力によるものだと述べています。
OpenAIの先行者優位性が薄れ、Microsoftも撤退を選択
Gavin氏はツイートで次のように指摘しています。
ChatGPTが2022年11月に登場したとき、OpenAIはScaling Lawに積極的に賭けることで、生成AI分野で7四半期にわたる支配を確立しました。しかし、この優位性の窓は閉じつつあります。
GoogleのGemini、xAIのGrok-3、Deepseekの最新モデルは、いずれもGPT-4と同等の技術レベルに達しています。
OpenAIの創業者であるAltman氏も、OpenAIの将来の優位性はより狭くなると指摘しており、MicrosoftのCEOであるNadella氏は、モデル能力における彼らのユニークな時期が終わりに近づいていることを基本的に示唆しています。
ChatGPTが2022年11月に登場したとき、OpenAIはScaling Lawに積極的に賭けることで、生成AI分野で7四半期にわたる支配を確立しました。しかし、この優位性の窓は閉じつつあります。
GoogleのGemini、xAIのGrok-3、Deepseekの最新モデルは、いずれもGPT-4と同等の技術レベルに達しています。
OpenAIの創業者であるAltman氏も、OpenAIの将来の優位性はより狭くなると指摘しており、MicrosoftのCEOであるNadella氏は、モデル能力における彼らのユニークな時期が終わりに近づいていることを基本的に示唆しています。
The Informationの以前の報道によると、Microsoftの内部メモには、事前トレーニングの限界収益が減少しているため、事前トレーニングインフラストラクチャを160億ドルでアップグレードする計画が中止され、MicrosoftはOpenAIに推論を提供して収益を得ることに焦点を当てていることが示されています。
Nadella氏は以前のポッドキャスト番組で、データセンターが過剰に建設される可能性があり、自社建設よりもリースの方が優れており、MicrosoftはCoPilotをサポートするためにオープンソースモデルを使用する可能性さえあると述べています。Gavin氏は、これらはパラメータ拡張にのみ依存して障壁を構築する「事前トレーニング時代」が終わりに近づいていることを示唆していると考えています。
独自のデータリソースが競争力に
Gavin氏は、モデルアーキテクチャが収束すると、独自のデータリソースが競争力になると考えています。
Gavin氏はツイートで次のように述べています。
EricVishria氏の言葉を何度も繰り返しますが、ユニークで価値のあるデータを入手できない最先端モデルは、史上最も急速に価値が下落する資産であり、蒸留はこれをさらに悪化させるだけです。
将来、最先端モデルがYouTube、X、TeslaVision、Instagram、Facebookなどのユニークで価値のあるデータにアクセスできない場合、投資収益率は得られない可能性があります。
この観点から見ると、ザッカーバーグの戦略もはるかに賢明に見えます。
ユニークなデータは、最終的に数兆または数千兆のパラメータモデルを差別化し、ROIを確保するための唯一の基盤となる可能性があります。
EricVishria氏の言葉を何度も繰り返しますが、ユニークで価値のあるデータを入手できない最先端モデルは、史上最も急速に価値が下落する資産であり、蒸留はこれをさらに悪化させるだけです。
将来、最先端モデルがYouTube、X、TeslaVision、Instagram、Facebookなどのユニークで価値のあるデータにアクセスできない場合、投資収益率は得られない可能性があります。
この観点から見ると、ザッカーバーグの戦略もはるかに賢明に見えます。
ユニークなデータは、最終的に数兆または数千兆のパラメータモデルを差別化し、ROIを確保するための唯一の基盤となる可能性があります。
これは、ザッカーバーグがMetaのAI戦略をソーシャルデータ閉ループに固定している理由を説明しています。以前のメディア報道によると、Instagramユーザーの画像アノテーションデータにより、Metaのマルチモーダルモデルのトレーニング効率が40％向上しました。
巨大データセンターはわずか2〜3個で十分、推論に必要な計算能力は95％
この変化は、AIインフラストラクチャの構造に破壊的な変化をもたらすでしょう。Gavin氏は次のように予測しています。
事前トレーニング計算能力：超大規模クラスタ（10万カードレベル）が必要ですが、参加者は2〜3社に減少します。
技術スタックは究極のパフォーマンス（液冷、原子力発電）を追求し、このセンターは「フェラーリ」級のスーパーコンピューターセンターに匹敵します。
推論計算能力：小規模な6〜10個のデータセンター、分散型で低コストのアーキテクチャが主流になり、地理的に近い場所への展開とエネルギー効率が重要になります。風力/太陽光エネルギーを使用し、量子化圧縮技術（Deepseek R1の1ビットLLMなど）に基づいて低コストの推論をサポートし、「ホンダ」級のエッジノードです。
事前トレーニング計算能力：超大規模クラスタ（10万カードレベル）が必要ですが、参加者は2〜3社に減少します。
技術スタックは究極のパフォーマンス（液冷、原子力発電）を追求し、このセンターは「フェラーリ」級のスーパーコンピューターセンターに匹敵します。
推論計算能力：小規模な6〜10個のデータセンター、分散型で低コストのアーキテクチャが主流になり、地理的に近い場所への展開とエネルギー効率が重要になります。風力/太陽光エネルギーを使用し、量子化圧縮技術（Deepseek R1の1ビットLLMなど）に基づいて低コストの推論をサポートし、「ホンダ」級のエッジノードです。
Gavin氏は、推論モデルは非常に計算負荷が高く、強力な計算能力を備えているため、モデルは推論タスクを効率的に完了できると強調しています。
しかし、以前の事前トレーニングと推論段階での計算リソースの割り当てがほぼ半分ずつであった状況とは異なり、現在は事前トレーニングが5％、推論段階が95％になります。卓越したインフラストラクチャが不可欠になります。
全体として、将来のAI業界は「事前トレーニングの集中化、推論の分散化」という二極化された構造になる可能性があり、データが権力の中心となり、巨大企業はデータの独占と計算能力の規模によって競争力を構築し、中小企業は差別化された展開とコストの最適化に焦点を当てています。
