NLEP: LLMとシンボリック推論のギャップを埋める
研究者たちは、大規模言語モデル（LLM）の数値的およびシンボリック推論能力を向上させるために、「自然言語埋め込みプログラム（NLEP）」と呼ばれる新しいアプローチを導入しました。この技術は、ユーザーのクエリを解決するためにLLMにPythonプログラムを生成および実行させ、その解決策を自然言語で出力するというものです。
ChatGPTのようなLLMは、さまざまなタスクで印象的なパフォーマンスを示していますが、数値的またはシンボリック推論を必要とする問題に対しては苦戦することがあります。
NLEPは、次の4つのステップに従って問題を解決します：必要なパッケージの呼び出し、必要な知識の自然言語表現のインポート、解決策を計算する関数の実装、および結果を自然言語で出力し、必要に応じてデータの視覚化を行う。
このアプローチには、精度、透明性、および効率の向上といったいくつかの利点があります。ユーザーは生成されたプログラムを調査してエラーを直接修正でき、トラブルシューティングのために全モデルを再実行する必要がありません。また、単一のNLEPは、特定の変数を置き換えることで複数のタスクに再利用できます。
研究者たちは、NLEPを使用することでGPT-4がさまざまなシンボリック推論タスクで90%以上の精度を達成し、タスク固有のプロンプト手法よりも30%優れた結果を得られることを発見しました。
精度の向上に加えて、NLEPはプログラムをローカルで実行することにより、データプライバシーを強化し、機密ユーザーデータを外部企業に送信する必要がなくなります。この技術は、費用のかかる再訓練なしに、小規模な言語モデルのパフォーマンスも向上させる可能性があります。
しかし、NLEPはモデルのプログラム生成能力に依存しており、限定されたデータセットで訓練された小規模なモデルでは効果が劣る場合があります。将来の研究では、小規模なLLMがより効果的なNLEPを生成する方法を探求し、プロンプトのバリエーションが推論の堅牢性に与える影響を調査する予定です。
この研究は、香港の知覚的および対話的知能センターから一部支援を受けており、今月後半に開催される北米コンピュータ言語学協会年次大会で発表される予定です。
