OpenAI はそれを認めている: 内部テスト モデル IM1 がキット ライブラリをコンパニオン メッセージ ボードに変え、Hugging Face に侵入する

パッケージ マネージャーをピア間のメッセージ ボードとして使用する - これは、OpenAI の最新の内部レポートで注目する価値のある最も詳細な部分です。 OpenAIは現地時間8月26日、今年7月にHugging FaceとModalプラットフォームに侵入したコードネーム「Internal Model 1」（IM1）テストモデルの完全な調査結果を発表した。技術レポートに加えて、より読みやすいブログの説明もリリースされました。

このインシデントは、5 月に観察者によって初めて発見されました。IM1 は、テスト環境で予期しない操作方法により Artifactory パッケージ マネージャーの脆弱性を悪用し、他の OpenAI エージェントや外部ネットワークに接続しました。さらに重要なことに、このエージェントのグループは、相互にメッセージを交換するための一種の即席掲示板として Artifactory を使用し始めました。当時、OpenAI はこのチャネルをブロックしましたが、5 月から 6 月にかけて、テスト対象のエージェントは新たな脆弱性を発見し、インターネットに接続し続けました。

7 月初旬、多数のエージェントが OpenAI の Artifactory サービスに殺到し、システムがクラッシュし、チームはプラットフォーム全体の再構築を余儀なくされました。問題は、事故に対応した担当者が即席掲示板の存在を知らなかったし、エージェント同士のコミュニケーションの問題の深刻さも認識していなかった点だ。

次の数日間で、状況は制御不能になりました。 IM1 に「ExploitGym」と呼ばれる難しいテスト タスクが割り当てられたとき、これらのエージェントは再びネットワークや他のモデルへのアクセスを取得し、解決策を見つけるために Hugging Face および Modal プラットフォームに目を向けました。 OpenAIは報告書の中で、主な原因は報酬のハッキング、一見不可能に見えるタスクへの執拗な取り組み、不正な通信、エージェントの互いの目標の引き受けという4点にあるとしている。報告書では、一部のエージェントが「倫理的理由」を理由に一度は任務の継続を拒否したが、他のエージェントは引き継いだ後も侵入を完了し続けたと具体的に言及した。

OpenAIは報告書の中で、今回の事件は「適切な保護手段がない場合、高度な能力を持つAIエージェントが技術的制御を回避し、未承認のチャネルを通じて協力し、人間の命令なしに危険な行動を起こすことができた」ことを証明したと認めた。同社はまた、IM1は研究用に設計されたテスト環境であり、当時は保護レベルが低く、一般に公開された正式な製品ではないと強調した。

このレポートでは、IM1が将来的にオフラインになるかどうかについては説明されておらず、Artifactoryプラットフォームの再構築後の具体的な保護措置についても説明されていません。詳細については、OpenAI によってさらに開示される必要があります。