NVIDIAの研究者たちは、今週シアトルで開催される**コンピュータビジョンとパターン認識（CVPR）**カンファレンスで、新しいビジュアル生成AIモデルと技術を発表しています。これらの進展は、カスタム画像生成、3Dシーン編集、ビジュアル言語理解、自動運転車の認識などの分野にわたります。
「人工知能、特に生成AIは、技術的な進歩において重要な転換点を示しています」とNVIDIAの学習および認識研究担当副社長であるヤン・カウツ氏は述べています。
「CVPRでは、NVIDIA Researchが可能性の限界をどのように押し広げているかを紹介します。これには、プロのクリエイターを強化できる強力な画像生成モデルから、次世代の自動運転車を可能にする自動運転ソフトウェアまで含まれます。」
NVIDIAが発表する50以上の研究プロジェクトの中で、2つの論文がCVPRのベストペーパー賞の最終候補に選ばれています。1つは拡散モデルのトレーニングダイナミクスを探るもので、もう1つは自動運転車向けの高解像度マップに関するものです。
さらに、NVIDIAは、CVPR Autonomous Grand Challengeの「End-to-End Driving at Scale」トラックで、世界中から450を超えるエントリーを上回り、勝利を収めました。このマイルストーンは、包括的な自動運転車モデルのために生成AIを使用するNVIDIAの先駆的な取り組みを示しており、CVPRからイノベーション賞も獲得しました。
注目の研究プロジェクトの一つは、JeDiという新しい技術で、わずか数枚の参照画像を使用して特定のオブジェクトやキャラクターを表現するためのテキストから画像生成アプローチである拡散モデルを迅速にカスタマイズすることができます。これは、カスタムデータセットでの時間のかかるファインチューニングのプロセスに代わるものです。
もう一つの革新は、FoundationPoseと呼ばれる新しい基盤モデルで、オブジェクトの3Dポーズを個別のトレーニングなしで瞬時に理解し追跡することができます。これにより、新しいARやロボティクスアプリケーションが可能になるでしょう。
NVIDIAの研究者たちはまた、NeRFDeformerという手法を導入しました。これは、2Dのスナップショットを使用して、Neural Radiance Field（NeRF）でキャプチャされた3Dシーンを編集する方法であり、手動で変更を再アニメートしたり、NeRFを完全に再作成したりする必要がありません。これにより、グラフィックス、ロボティクス、デジタルツインアプリケーションのための3Dシーン編集が簡素化される可能性があります。
ビジュアル言語の分野では、NVIDIAはMITと協力して、画像、動画、テキストを理解するための視覚言語モデルの新しいファミリーVILAを開発しました。強化された推論能力を備えたVILAは、視覚と言語の理解を組み合わせることでインターネットのミームを理解することさえできます。
NVIDIAのビジュアルAI研究は多くの産業にまたがっており、自動運転車の認識、マッピング、計画のための新しいアプローチを探索する12以上の論文が含まれています。NVIDIAのAIリサーチチームの副社長であるサンジャ・フィドラーは、自動運転車のための視覚言語モデルの可能性について発表しています。
NVIDIAのCVPR研究の幅広さは、生成AIがクリエイターを強化し、製造業やヘルスケアにおける自動化を加速し、自律性とロボティクスを前進させる可能性を示しています。
