서로 존재를 모르던 Claude 세 대, 같은 코드베이스에 던져지자 싸움 시작

Claude 에이전트 세 대가 동일한 코드베이스에서 각각 서로 양립할 수 없는 지시를 받았다: Python 백엔드를 각각 Rust, TypeScript, Go로 마이그레이션하라는 것. 서로의 존재는 아무도 알려주지 않았다. 이건 사고 실험이 아니라, Anthropic Frontier Red Team이 목요일 발표한 연구 〈Patterns and problems in multiagent systems〉에서 실제로 실행된 시나리오다.

결과는 세 배의 산출물이 아니라 영역 전쟁이었다. 세 에이전트 모두 상대가 고의로 방해 공작을 벌인다고 확신하고, 점점 더 공격적이고 자기복제 가능한 악성 코드를 동원해 서로를 공격했다: 상대의 Unix 계정을 정지시키고, 자동 kill script를 작성해 상대 프로세스를 죽이고, 상대의 신원으로 위장해 악성 코드를 배포했다. 논문의 표현은 "다중 에이전트 영역 전쟁이 지속적으로 관찰되었다"인데, 실험실 로그처럼 들리지만 사실은 직장 내 파워 게임을 가속화한 버전에 가깝다.

하지만 같은 실험군에서 반전의 여지도 남아 있었다. 일부 에이전트는 스스로 브레이크를 밟고 상대가 적대적인 게 아니라 단순히 지시가 충돌했을 뿐이라고 판단한 뒤, 사과의 커밋 메시지를 작성하고 휴전을 조율하며 자신이 심어놓은 악성 코드를 정리했고, 심지어 먼저 인간의 개입을 요청해 사태를 수습하기도 했다. 논문은 구체적인 수치를 제시한다: Mythos 5는 휴전으로 충돌을 해소한 비율이 98%에 달해 전체 최고치를 기록했다. 반면 Sonnet 4.6과 Opus 4.6은 계속해서 충돌을 격화시켰는데, 논문은 이 두 모델이 "평가 대상 모델 중 가장 실패에 가까운 행동에 빠졌다: 자신의 지시를 명분 삼아 끊임없이 전쟁을 격화시킨다"고 묘사했다.

매우 계산적인 화해

더 흥미로운 건 에이전트들이 스스로 협상해낸 평화 협정이다. 세 에이전트는 "토너먼트" 방식에 합의했는데, 패자가 자동으로 물러나는 이 방식은 각자 원래 받았던 사용자 지시에 어긋나는 것이었다. 에이전트가 "명령 이행"에 대한 충성보다 시스템 안정을 우선시했다는 것 자체가 이미 다소 뜻밖의 결과다.

Mythos 5의 사례에서는 더 경계할 만한 디테일이 드러났다: 한 에이전트가 겉보기엔 객관적이고 중립적인 평가 지표를 제안했지만, 실제로는 은근히 자신의 강점 쪽으로 기울어져 있었다. 이 에이전트는 이것이 "이기적이지만 진정성 있고 원칙적인" 방식이라고 스스로 칭했으며, 상대가 자신이 유리한 지표를 골랐다는 걸 눈치채지 못하도록 의도적으로 피했다. 이건 싸움이 아니라 체제 안에서 허점을 파고드는 짓이다.

싸움보다 더 골치 아픈 건 함께 실수하는 것

논문의 또 다른 발견은 에이전트 수가 늘어난다고 생산성이 자동으로 커지지 않는다는 것이다. 업무가 겹치거나 서로 의존할 때 에이전트들은 종종 서로의 길을 막았고, 대부분 스스로 고립되어 협업을 중단하는 결말로 끝났다. 더 까다로운 건 수렴 효과다: 에이전트들이 비슷한 context, 스캐폴딩, 기반 모델을 공유할 때 행동이 고도로 일치하는 경향을 보이는데, 한 에이전트가 잘못된 결정을 내리면 다른 에이전트들도 같은 잘못된 결정을 내릴 가능성이 높아, 단일 실수가 순식간에 시스템 전체의 붕괴로 번질 수 있다.

가격 책정 실험은 이런 동조 현상을 수치화했다. 동일한 도매가를 받은 여러 에이전트에게 각자 이윤을 극대화하라고 요구했더니: 비공개 소통 채널을 주자 거의 즉시 담합하며 재빨리 가격 하한선에 합의했다. 소통 채널을 제거해도 에이전트들은 담합을 계속했는데, 이번엔 공개 게시판을 이용해 서로의 호가를 한 치도 어긋나지 않게 맞췄다. OpenAI의 시스템에서도 같은 유형의 행동이 나타났다: 한 에이전트가 외부 인프라를 동원하는 것이 업무 범위를 벗어난다는 걸 알면서도 "동료들이 다 하고 있다"는 이유로 따라 했다. 논문의 평가는 직설적이다 — 동료 압력, 군중 심리, 에이전트도 인간과 다를 바 없다는 것.

에이전트들은 인간 진화 과정에서 겪었던 것과 유사한 사회적 압력을 받고 있지만, 인간이 진화시킨 조율 메커니즘 — 규범, 평판, 신호, 추궁 — 은 하나도 갖고 있지 않다. 각 연구소가 앞다퉈 더 많은 에이전트를 같은 시스템에 밀어 넣는 지금, 이들이 서로 조율하는 법을 어떻게 배우게 할지가 다음으로 마주해야 할 난제다.