2月24日、DeepSeekが先週発表したオープンソースウィーク（OpenSourceWeek）の幕開けとして、5つのソフトウェアライブラリを連続でオープンソース化することを発表。その第一弾として、本日午前9時30分頃、Hopper GPU向けに最適化された高効率MLAデコードコア——FlashMLAを公開しました。
新浪科技が注目したのは、GitHub上での反応の速さ。プロジェクト公開からわずか6時間で5000スター以上を獲得し、188個のFork（複製作成）が発生しています。DeepSeekのFlashMLA公開と、その驚異的なスター数とFork数の伸びを聞いたある上場企業のCTOは、新浪科技との会話で「凄すぎる」と絶賛しました。
さらに、AIハードウェアの研究と投資に特化した投資家は、FlashMLAを検証後、国産GPUにとって今回のオープンソース化は大きなメリットになると述べています。「これまでの国産GPUカードは性能が低かった。しかし、FlashMLAが提供する最適化のアイデアと方法論を活用することで、アーキテクチャが異なっても、国産カードの性能を大幅に向上させることが可能になるだろう。国産カードの推論性能の向上が当然のこととなる」。
DeepSeekの公式発表によると、FlashMLAはHopper GPUの効率的なMLAデコードカーネルをベースにしており、可変長シーケンス向けに最適化されています。
DeepSeekの技術ロードマップ全体において、MLA（マルチヘッド潜在的注意メカニズム）は、同社が既に公開しているV2、V3の両モデルで最も重要な技術の一つです。計算効率とメモリ使用量のボトルネックを解決するために使用され、モデルのトレーニングと推論の効率を大幅に向上させ、同時にモデルの性能を維持または向上させることができます。
以前、中国工程院の院士であり、清華大学コンピュータ学科の教授である鄭緯民は、新浪科技とのインタビューで、「DeepSeekが独自開発したMLAアーキテクチャは、自社のモデルのトレーニングコスト削減に重要な役割を果たした」と述べています。彼は、「MLAはアテンション演算子を改造してKV Cacheのサイズを圧縮し、同じ容量でより多くのKV Cacheを保存できるようにした。このアーキテクチャとDeepSeek-V3モデルのFFNレイヤーの改造が組み合わさることで、非常に大きなスパースMoEレイヤーを実現し、DeepSeekのトレーニングコストの低さを実現する最も重要な要因となっている」と指摘しました。
今回、DeepSeekが最も重要なMLAの基盤コードであるFlashMLAを直接無料公開したことは、多くの開発者がFlashMLAコードライブラリを再利用して、より少ないGPUサーバーで同じタスクを完了し、推論コストを直接削減できることを意味します。これは、DeepSeekのオープンソース能力に基づいて、基盤の最適化とAIアプリケーションの開発を希望するより多くの人々にとって、間違いなく大きなメリットです。
興味深いことに、DeepSeekが今回公開したMLAデコードカーネルは、主にHopper GPU向けに最適化されています。通常、Hopper GPUとは、NVIDIA Hopperアーキテクチャに基づいて開発されたHシリーズGPU製品を指します。現在、NVIDIAはこのシリーズでH100、H800、H20など、複数のチップをリリースしています。
DeepSeekによると、ベンチマークテストの性能では、FlashMLAはNVIDIA H800 SXM5 GPUで3000 GB/秒のメモリ速度と580TFLOPSの計算上限を実現できます。
公開資料によると、米国の輸出規制により、H800の帯域幅上限は600 GB/秒に設定されており、一部のフラッグシップ製品に比べて低くなっています。これは、FlashMLAで最適化することで、H800のメモリ帯域幅の利用率がさらに向上し、H800 GPUの理論上の上限を超える可能性さえあることを意味します。メモリへのアクセスを極限まで高め、開発者がより少ないチップでより強力なモデル性能を実現し、GPUの価値を最大化することを可能にします。
AIハードウェアの研究と投資に特化した投資家は、FlashMLAを検証後、「FlashMLAは、LLMをH800でより高速かつ効率的に実行できる最適化ソリューションであり、特に高性能AIタスクに適している。その核となるのは、大規模言語モデルのデコードプロセスを加速し、モデルの応答速度とスループットを向上させることだ。これは、リアルタイム生成タスク（チャットボットなど）にとって非常に重要であり、大規模モデルの能力とユーザーエクスペリエンスを大きく促進し、速度が大幅に向上する」と述べています。
FlashMLAはHopper GPU向けの最適化コードライブラリですが、国産GPUにとっても今回のオープンソース化はメリットがあります。上記の投資家はFlashMLAを検証後、国産GPUにとって今回のオープンソース化は大きなメリットになると述べています。「これまでの国産GPUカードは性能が低かった。しかし、FlashMLAが提供する最適化のアイデアと方法論を活用することで、アーキテクチャが異なっても、国産カードの性能を大幅に向上させることが可能になるだろう。国産カードの推論性能の向上が当然のこととなる」。
ソース：新浪网
【免責事項】本文は著者の個人的な見解を代表するものであり、和讯网とは関係ありません。和讯ウェブサイトは、記事中の記述、見解の判断について中立を保ち、含まれる内容の正確性、信頼性、または完全性について、明示的または黙示的な保証を提供しません。読者は参考としてのみ扱い、すべての責任は自己負担とします。メールアドレス：[email protected]
