Microsoft、新しいAIモデルをトレーニング中、主要なLLMと競合できるほどの規模

Microsoftは、MAI-1というコードネームを持つ新しい大規模言語モデル（LLM）を開発中で、GoogleやOpenAIが開発したAI LLMと競合できる可能性があります。これは、MicrosoftがOpenAIに数十億ドルを投資して、その技術を生産性ソフトウェアのスイートに展開する権利を取得して以来、初めてこのような大規模なLLMを開発することになります。

MAI-1の開発は、Google DeepMindとInflectionの共同創設者Mustafa Suleymanが監督しており、The Informationの報告によると、2024年3月にMicrosoftはInflectionのスタッフを650百万ドルの取引で買収したといいます。

5月6日に発表された報告によると、MAI-1は約5000億のパラメータを持ち、OpenAIのGPT-4の報告された1兆のパラメータと、MetaのLlama 3 AIモデルの700億のパラメータの中間に位置します。また、これまでのMicrosoftの小規模なオープンソースAI（Phi-3およびWizardLM-2）よりも「はるかに大規模」で高価であると予想されています。これには、より多くの計算力とトレーニングデータが必要です。

MAI-1はInflectionの技術やトレーニングデータを使用するかもしれませんが、OpenAIやInflectionが生成したモデルや技術とは異なります。プロジェクトに詳しいMicrosoftのスタッフによると、MAI-1はMicrosoftが内部で開発した全く新しいLLMであるといいます。

MicrosoftはまだMAI-1の正確な目的を発表しておらず、その正確な使用法はそのパフォーマンスによります。その間、同社はNvidia GPUを搭載した大規模なサーバークラスターを割り当てており、様々なソースからの大量のデータを使用してモデルを改善しています。

報告によると、進捗状況に応じて、同社は今月後半にBuild開発者会議でMAI-1をプレビューする可能性がありますが、これについては未確認です。