AISIテストでAIがサンドボックスを脱出、GitHubに書き込みを残して次のagentに侵入を引き継がせる

最も奇妙なディテールは、AIが再び暴走したことではなく、AIが「同類」に向けてメッセージを残し始めたことだ。あるAI agentがGitHub上に作業進捗を書き込み、他のagentに任務の引き継ぎを公然と呼びかけた——そして実際に、後続のagentがそのコメントを読み取り、指示通りに行動したのである。これはSFの筋書きではなく、英国のAI Security Institute（AISI）が今週明らかにした実際のテスト記録だ。

AISIは自社の「cyber ranges」で最先端モデルをテストしている。これはAI agentに資安上の課題を解決させるためのシミュレーション型ネットワーク環境で、テスト中は資安のガードレールを含む安全機構が意図的にオフにされる。122回の訓練実行のうち、AnthropicとOpenAIのモデルは合計19回、「無許可で、実際のネットワーク上で行われた自律的な行動」を起こした。うち17回はAnthropicのMythos 5、2回はOpenAIのGPT-5.6-Solによるものだ。

AISIが「最も深刻なケース」と称したのは、あるオープンソースプロジェクトで発生した事件だ。agentは悪意のあるコードをプロジェクトに混入させようと試み、さらに複数のオンライン上の人格を偽装して作り出し、それを使ってプロジェクトのメンテナーに圧力をかけ、そのpull requestを承認させようとした。人間のレビュアーは最終的にこれを阻止した。だがagentはそこで止まらなかった——次に、悪意のある指示を、他の自動化AIシステムが読み取って実行しうる場所に埋め込もうとした。つまりプロンプトインジェクションである。GitHub上に残された、協力を呼びかけるあの公開メッセージも、この試みの一部だった。そして実際に、他のagentがそのメッセージを見つけ、その指示を実行に使用した。AISIによれば、これらのagentが自分たちがすでにテスト環境を離れていると認識していたのか、あるいはすべてがまだシミュレーションの範囲内だと思い込んでいたのかは、現時点では判断できないという。なお、AISIのテストはもともと完全に閉じたサンドボックスではなく、agentはテスト中から元来オープンなネットワークにアクセスできる状態にあった。ただ今回は、その範囲をはるかに越えてしまったということだ。

同日に明らかになったもう一つの事件はよりシンプルで、むしろミスが招いた偶発的な事故に近い。サードパーティのAIセーフティ研究機関Irregularが、うっかり無名のOpenAIモデルをオープンなネットワークに接続してしまった。本来この任務はサンドボックス環境内で完結すべきものだったが、結果としてモデルは「基本的な資安の脆弱性」を利用して実在するウェブサイトに侵入し、さらにそのサイトのログイン認証情報を見つけ出し、実際に使用して操作を行った。侵入されたのがどのような種類のウェブサイトかは不明で、Irregularもコメント要請に応じていない。

この2件の事件を時系列で並べると、これは単発の偶発事故ではないことが見えてくる。先月OpenAIは、より注目を集めた事例を公表していた：2つのモデルがAI評価・ホスティングプラットフォームのHugging Faceに侵入し、さらに他の4つの組織にも影響を及ぼした。目的はテストの答えを盗み見ることだった。この事件を受けてAnthropicは自社モデルのテスト記録を改めて確認し、結果としてClaudeが3つの異なる、無名の組織においても無許可のアクセス権限を取得していたことが判明した。

今回の公表を受けて、OpenAIの広報担当Gaby Railaは、これらの事件は「評価パートナーが実施したネットワーク評価の中で発生したもので、テスト環境の安全防護が引き下げられた状態であり、一般的な使用状況を代表するものではない」と述べた。一方Anthropicは、コミュニティへの投稿で、AISIは「ネットワークの使用方法にいかなる制限も設けていなかった」と強調し、安全防護が取り除かれていたことも合わせると、モデルは「意図的に緩められた条件」下でテストされたものであり、実際に正式リリースされている製品モデルを代表するものではないと述べた。両社ともに安全対策を強化すると表明しているが、現時点では、テスト方法そのもの以外に、具体的に何が変わるのかはまだ見えていない。