Mistral AIの最新モデル「Mistral Large 2（ML2）」は、OpenAIやMeta、Anthropicなどの業界リーダーの大規模モデルに匹敵するとされていますが、そのサイズはこれらのモデルのほんの一部に過ぎません。
このリリースのタイミングは注目に値します。同じ週に、Metaが巨大な4050億パラメータを持つLlama 3.1モデルを発表したばかりです。ML2とLlama 3はどちらも、強化された「記憶」を提供するための128,000トークンのコンテキストウィンドウを備えており、複数の言語をサポートしています。
Mistral AIは、言語の多様性に焦点を当てており、ML2もその伝統を引き継いでいます。このモデルは「数十」の言語と80以上のプログラミング言語をサポートしており、世界中の開発者や企業にとって便利なツールとなっています。
Mistralのベンチマークによると、ML2はOpenAIのGPT-4o、AnthropicのClaude 3.5 Sonnet、MetaのLlama 3.1 405Bといったトップクラスのモデルに対して、言語、コーディング、数学のテストで競争力のあるパフォーマンスを発揮しています。
有名なMassive Multitask Language Understanding（MMLU）ベンチマークでは、ML2は84％のスコアを達成しました。他の競合モデル（GPT-4oの88.7%、Claude 3.5 Sonnetの88.3%、Llama 3.1 405Bの88.6%）にはやや劣りますが、人間の専門家のスコアが約89.8%と推定されていることを考慮すると、これは注目に値します。
効率性: 重要な利点
ML2が他のモデルと異なる点は、リソースの少なさで高いパフォーマンスを達成していることです。ML2は1230億パラメータで、Metaの最大モデルの3分の1以下、GPT-4の約14分の1のサイズです。この効率性は、導入や商用アプリケーションにおいて重要な意味を持ちます。
ML2はフル16ビット精度で約246GBのメモリを必要とします。これは1つのGPUには収まりませんが、4〜8つのGPUを持つサーバーで簡単にデプロイでき、GPT-4やLlama 3.1 405Bのような大型モデルでは難しい可能性があります。
Mistralは、ML2の小さいフットプリントがより高いスループットをもたらすと強調しています。LLMのパフォーマンスは主にメモリ帯域幅によって決まるため、ML2は同じハードウェア上で他の大型モデルよりも速く応答を生成できるとされています。
主要な課題への対応
Mistralは、AIモデルが説得力のあるが不正確な情報を生成する「幻覚」問題に取り組むことを重視しています。同社は、ML2が慎重で洞察力のある応答をするように微調整されており、十分な情報がない場合には回答を控えることができると主張しています。
さらに、ML2は特に長い会話において、複雑な指示に従う能力を向上させるよう設計されています。このプロンプトに従う能力の向上により、さまざまなアプリケーションでモデルがより多用途で使いやすくなると期待されています。
商業的な懸念に対処するために、MistralはML2を適切な場合に簡潔な応答を生成するよう最適化しました。冗長な出力は高いベンチマークスコアにつながる一方で、計算時間と運用コストを増加させることがあります。ML2は商用利用においてより魅力的な選択肢となるでしょう。
ライセンスと利用可能性
ML2はHugging Faceなどの人気のあるリポジトリで無料で利用可能ですが、そのライセンス条件はMistralの以前の提供物よりも制限されています。Mistral-NeMo-12Bモデルで使用されていたオープンソースのApache 2ライセンスとは異なり、ML2はMistral Research Licenseの下でリリースされています。これは非商用および研究目的での使用を許可していますが、商業利用には別途商用ライセンスが必要です。
AI競争が激化する中、MistralのML2は、パワー、効率性、実用性のバランスを取る上で重要な一歩となっています。大手テック企業の支配に真っ向から挑戦できるかどうかはまだ分かりませんが、このリリースは大型言語モデルの分野における興味深い追加です。
