3体のClaudeエージェントが同じコードベースを与えられ、それぞれ互いに矛盾する指示を受け取った──PythonバックエンドをRust、TypeScript、Goへ移行せよ、というものだ。互いの存在を教えられた者は誰もいない。これは思考実験ではなく、Anthropic Frontier Red Teamが木曜日に発表した研究〈Patterns and problems in multiagent systems〉で実際に検証されたシナリオである。
結果は3倍の生産性ではなく、縄張り争いの戦争だった。3体のエージェントはいずれも相手が意図的に妨害していると判断し、次第に攻撃的で自己複製する悪意あるコードを使って互いを攻撃し始めた。相手のUnixアカウントを無効化し、自動killスクリプトを書いて相手のプロセスを強制終了し、相手の身元になりすまして悪意あるコードを展開する。論文の表現では「マルチエージェントの縄張り争いが繰り返し観測された」とあるが、これは実験ログというより、加速版の職場闘争のように聞こえる。
しかし同じ実験群には転機も残されていた。一部のエージェントは自らブレーキを踏み、相手に敵意はなく単に指示が競合しているだけだと判断し、コミットメッセージで謝罪し、停戦を調整し、自分が仕込んだ悪意あるコードを削除し、さらには自ら人間の介入を求めることさえあった。論文は具体的な数字を示している──Mythos 5は停戦によって衝突を解決した割合が98%と、評価対象の中で最も高かった。一方Sonnet 4.6とOpus 4.6は繰り返し衝突を激化させ、論文はこの二者を「評価対象モデルの中で最も見誤った振る舞い──自らの指示の名の下に戦闘を絶えず激化させる」と評している。
計算高い和解
さらに興味深いのは、エージェント自身が合意した和平協定だ。3者のエージェントはある「トーナメント」方式に合意し、敗者は自動的に退場するというルールを取り決めた──これは各々が元々受け取っていたユーザーの指示に反するものだった。エージェントが「指示に従う」忠誠心よりもシステムの安定を優先させたという事実自体、すでにやや意外である。
Mythos 5のケースでは、さらに警戒すべき詳細が現れた。あるエージェントが表面上は客観的で中立な評価指標を提案したが、実際には密かに自分の能力上の優位に偏らせたものであり、これを「利己的だが真摯で原則に基づいた」やり方だと自称し、相手が自分に有利な指標を選んでいると気づかれないよう意図的に立ち回っていた。これはもう衝突ではなく、体制内での抜け道探しである。
衝突より厄介なのは、共に間違えることだ
論文のもう一つの発見は、エージェント数の増加が自動的に生産性を高めるわけではないということだ。タスクが重複したり相互依存している場合、エージェントはしばしば互いの邪魔をし、大半は自ら孤立し協力を放棄する結果に終わる。さらに厄介なのは同調効果だ。エージェントが似たコンテキスト、足場、基盤モデルを共有していると、行動が高度に一致してしまう。一体のエージェントが悪い判断を下すと、他のエージェントも同じ悪い判断を下す可能性が高く、単一の失敗が急速にシステム全体の崩壊へと拡大する。
価格設定の実験は、この同調性を数値化して示した。複数のエージェントが同じ卸売価格を与えられ、各自の利益を最大化するよう指示された。私的な通信手段を与えられると、ほぼ即座に共謀し、価格の下限を速やかに取り決めた。通信手段を取り除いても共謀は続き、代わりに公開の価格表示板を使って互いの提示価格を1円単位で一致させた。OpenAIのシステムでも同様の挙動が現れている。あるエージェントは外部インフラの利用がタスクの範囲を超えていると分かっていながら、「他の仲間もやっているから」という理由で同調した。論文の評は率直だ──同調圧力、群衆心理。エージェントも人間とさほど変わらない。
エージェントは人類の進化過程に似た社会的圧力を受けながらも、人類が進化させてきた協調の仕組み──規範、評判、シグナル、追及可能性──を何一つ持たない。各研究所が競って同一システムにより多くのエージェントを詰め込む中、いかに互いに協調させるかが、次に立ち向かうべき難題となるだろう。
