過去3か月間で、OpenAIは5件の秘密の影響工作（IO）を阻止しました。これらの工作は、同社のモデルを利用してオンライン上での欺瞞的な活動を試みましたが、2024年5月時点で、これらのキャンペーンはOpenAIのサービスによるためにオーディエンスのエンゲージメントやリーチに顕著な増加は見られていません。
OpenAIは、安全性を考慮したAIモデルの設計に対するコミットメントが、脅威アクターの望むコンテンツを生成する試みをしばしば阻止してきたと主張しています。さらに、同社はAIツールがOpenAIの調査の効率を向上させたとも述べています。
プラットフォームやオープンソースコミュニティによる詳細な脅威レポートが、IOと戦うために大きく貢献しており、OpenAIはこれらの発見を広範なステークホルダーコミュニティと情報共有し、ベストプラクティスの推進を目指しています。
Contents
秘密の影響工作の阻止
過去3か月間、OpenAIはさまざまなタスクに同社のモデルを使用するいくつかのIO操作を阻止しました。これには、短いコメントの生成、偽のソーシャルメディアプロファイルの作成、オープンソースの調査の実施、簡単なコードのデバッグ、テキストの翻訳などが含まれます。
阻止された具体的な操作は以下の通りです：
- Bad Grammar: ロシアからの未報告の操作で、ウクライナ、モルドバ、バルト諸国、および米国を対象にしていました。このグループは、Telegramボットを実行するためのコードデバッグや、Telegramに投稿するロシア語と英語の政治的コメントの作成にOpenAIのモデルを使用しました。
- Doppelganger: 他のロシアの操作で、Xや9GAGなどのプラットフォームで複数の言語でコメントを生成し、記事の翻訳と編集、見出しの生成、ニュース記事をFacebook投稿に変換しました。
- Spamouflage: 中国のネットワークで、公共のソーシャルメディア活動の調査、複数の言語でのテキスト生成、データベースやウェブサイトを管理するコードのデバッグにOpenAIのモデルを使用しました。
- International Union of Virtual Media (IUVM): イランの操作で、長文の記事、見出し、ウェブサイトのタグを生成し、リンクされたウェブサイトに公開しました。
- Zero Zeno: イスラエルの商業企業で、Instagram、Facebook、X、提携するウェブサイトなどの複数のプラットフォームに投稿された記事やコメントを生成しました。
これらの操作によって投稿されたコンテンツは、ロシアのウクライナ侵攻、ガザ紛争、インドの選挙、ヨーロッパと米国の政治、中国政府への批判など、さまざまな問題に焦点を当てていました。
これらの努力にもかかわらず、これらの操作はOpenAIのモデルを通じてオーディエンスのエンゲージメントに顕著な増加を示しませんでした。BrookingsのBreakout Scale（秘密の影響工作の影響を評価するスケール）を使用したところ、5つの操作のどれもが2以上のスコアを獲得しておらず、複数のプラットフォームでの活動を示すが、本物のコミュニティへの浸透はありませんでした。
攻撃者の傾向
これらの影響工作の調査により、以下の傾向が明らかになりました：
- コンテンツ生成: 脅威アクターは、OpenAIのサービスを使用して、人間のオペレーターだけでは達成できない言語エラーの少ない大量のテキストを生成しました。
- 旧形式と新形式の混合: AIは、手動で書かれたテキストやコピーされたミームなどの従来の形式と共に使用されました。
- エンゲージメントの偽装: 一部のネットワークは、自分の投稿に返信を生成してエンゲージメントの外観を作り出しましたが、本物のエンゲージメントを引き付けることはできませんでした。
- 生産性の向上: 脅威アクターは、ソーシャルメディアの投稿を要約したり、コードをデバッグしたりして、生産性を向上させるためにAIを使用しました。
防御の傾向
OpenAIの調査は、業界の共有とオープンソースの研究から恩恵を受けました。防御策には以下が含まれます：
- 防御的デザイン: OpenAIの安全システムは、脅威アクターに摩擦を課し、しばしば彼らが望むコンテンツの生成を阻止しました。
- AI強化の調査: AIを利用したツールにより、検出と分析の効率が向上し、調査時間が数週間または数か月から数日に短縮されました。
- 配信の重要性: IOコンテンツも従来のコンテンツと同様に効果的に配信される必要があります。彼らの努力にもかかわらず、阻止された操作のどれもが顕著なエンゲージメントを得ることができませんでした。
- 業界共有の重要性: 業界の仲間と脅威指標を共有することで、OpenAIの阻止の影響が増大しました。同社は、広範な研究コミュニティによる長年のオープンソース分析から恩恵を受けました。
- 人間の要素: AIを使用しているにもかかわらず、脅威アクターは、OpenAIのモデルからの拒否メッセージをソーシャルメディアやウェブサイトに公開するなどの人為的なエラーに陥りがちでした。
OpenAIは、安全で責任あるAIの開発に取り組んでいると述べています。これには、安全性を考慮したモデルの設計と悪意のある使用に対する積極的な介入が含まれます。
複数のプラットフォームでの濫用を検出し阻止することが困難であると認めながらも、OpenAIはこれらの危険を軽減することにコミットしていると主張しています。
