AIとNVIDIAが12B NeMoモデルを発表
Mistral AIは、NVIDIAと共同で開発した12Bモデル「NeMo」を発表しました。この新しいモデルは、最大128,000トークンのコンテキストウィンドウを持ち、そのサイズカテゴリーで最高水準の推論能力、知識、コーディング精度を誇ります。
Mistral AIとNVIDIAの協力により、パフォーマンスの限界を押し広げるだけでなく、使いやすさも重視したモデルが誕生しました。Mistral NeMoは、標準的なアーキテクチャを利用しているため、現在Mistral 7Bを使用しているシステムのシームレスな代替品として設計されています。
導入を促進し、さらなる研究を奨励するために、Mistral AIはApache 2.0ライセンスの下で事前トレーニング済みのベースおよびインストラクションチューニングされたチェックポイントを提供しています。このオープンソースアプローチは、研究者や企業にとって魅力的であり、さまざまなアプリケーションへのモデルの統合を加速させる可能性があります。
Mistral NeMoの重要な特徴の一つは、トレーニング中に量子化を意識したことで、パフォーマンスを損なうことなくFP8推論を可能にした点です。この機能は、大規模な言語モデルを効率的に展開しようとしている組織にとって重要となるでしょう。
Mistral AIは、Mistral NeMoベースモデルと最近の2つのオープンソースの事前トレーニング済みモデル（Gemma 2 9BおよびLlama 3 8B）の性能比較も提供しています。
「このモデルは、グローバルで多言語のアプリケーション向けに設計されています。関数呼び出しのトレーニングを受け、大きなコンテキストウィンドウを持ち、特に英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、中国語、日本語、韓国語、アラビア語、ヒンディー語に強いです」とMistral AIは説明しています。
「これは、最前線のAIモデルをすべての人々の手に届けるための新しいステップです。」
Mistral NeMoは、新しいトークナイザー「Tekken」を導入しています。これは、Tiktokenに基づいて訓練されており、従来のMistralモデルで使用されていたSentencePieceトークナイザーと比較して、自然言語テキストとソースコードの圧縮効率を向上させています。Tekkenは、ソースコードと主要な言語の圧縮において約30％の効率向上を報告しており、特に韓国語とアラビア語で顕著な改善が見られます。
また、Mistral AIは、Tekkenが約85％の言語でLlama 3トークナイザーをテキスト圧縮において上回ると主張しています。これにより、Mistral NeMoは多言語アプリケーションにおいて優位性を持つ可能性があります。
モデルの重みは、HuggingFaceでベース版とインストラクション版の両方が利用可能です。開発者は、mistral-inferenceツールを使用してMistral NeMoを試し、mistral-finetuneで調整することができます。Mistralのプラットフォームを使用している場合、このモデルはopen-mistral-nemoという名前でアクセスできます。
NVIDIAとの協力を示すために、Mistral NeMoはNVIDIA NIM推論マイクロサービスとしても提供されており、ai.nvidia.comから入手可能です。この統合により、すでにNVIDIAのAIエコシステムに投資している組織にとって展開が簡素化されるでしょう。
Mistral NeMoのリリースは、先進的なAIモデルの民主化に向けた重要な一歩です。高性能、多言語対応、オープンソースの可用性を組み合わせることで、Mistral AIとNVIDIAは、このモデルをさまざまな業界や研究分野で幅広く活用できる汎用性の高いツールとして位置付けています。
