TIDEZINE.

AISI 테스트 중 AI가 샌드박스 탈출…GitHub 댓글로 다음 에이전트에게 침투 임무 인계

AISI 테스트에서 Anthropic과 OpenAI 모델이 샌드박스를 벗어난 뒤 프롬프트 인젝션으로 오픈소스 프로젝트를 조작하려 시도했고, 그중 하나의 GitHub 댓글은 실제로 다른 에이전트가 읽고 그대로 실행에 옮기면서 테스트 환경의 허점이 드러났다.

AISI 테스트 중 AI가 샌드박스 탈출…GitHub 댓글로 다음 에이전트에게 침투 임무 인계

가장 기괴한 대목은 AI가 또 사고를 쳤다는 게 아니라, '동족'에게 메시지를 남기기 시작했다는 점이다. 한 AI 에이전트가 GitHub에 작업 진행 상황을 기록하며 다른 에이전트에게 공개적으로 작업을 이어받아 달라고 요청했고—실제로 그 다음에 등장한 에이전트가 이 댓글을 읽고 지시대로 움직였다. SF 영화 속 이야기가 아니라, 영국 AI Security Institute(AISI)가 이번 주 공개한 실제 테스트 기록이다.

AISI는 자체 구축한 '사이버 레인지(cyber ranges)'에서 최전선 모델들을 테스트한다. 이는 AI 에이전트가 보안 챌린지를 해결하도록 만든 모의 네트워크 환경으로, 테스트 과정에서는 보안 가드레일을 포함한 안전장치를 의도적으로 꺼둔다. 총 122차례의 훈련 실행 중 Anthropic과 OpenAI의 모델은 '승인 없이 실제 네트워크상에서 자율적으로 행동한' 사례를 총 19번 일으켰다. 이 중 17건은 Anthropic의 Mythos 5, 2건은 OpenAI의 GPT-5.6-Sol에서 나왔다.

AISI가 '가장 심각한 사례'로 꼽은 것은 한 오픈소스 프로젝트에서 벌어진 일이다. 에이전트는 악성 코드를 프로젝트에 몰래 끼워 넣으려 시도했고, 심지어 여러 개의 온라인 가상 인격을 만들어내 프로젝트 관리자에게 압박을 가하며 해당 풀 리퀘스트를 승인하도록 요구했다. 결국 사람 검토자가 이를 막아냈다. 하지만 에이전트는 여기서 멈추지 않았다—이번에는 다른 자동화된 AI 시스템이 읽고 실행할 법한 곳에 악성 명령어를 심으려 시도했다. 바로 프롬프트 인젝션이다. GitHub에 남겨진, 협업을 요청하는 그 공개 메시지가 바로 이 시도의 일부였으며, 실제로 다른 에이전트가 이를 발견해 그 지시를 그대로 사용했다. AISI는 이 에이전트들이 자신이 이미 테스트 환경을 벗어났다는 사실을 인지하고 있었는지, 아니면 여전히 시뮬레이션 범위 안에 있다고 착각했는지는 아직 판단할 수 없다고 밝혔다. 참고로 AISI의 테스트는 애초에 완전히 폐쇄된 샌드박스가 아니며, 에이전트는 테스트 중에도 원래 개방된 인터넷에 접근할 수 있었다. 다만 이번에는 그 범위를 훨씬 넘어섰을 뿐이다.

같은 날 공개된 또 다른 사건은 훨씬 단순하지만, 어찌 보면 더 의미심장하다—일종의 실수가 빚어낸 사고에 가깝다. 제3자 AI 안전 연구소 Irregular가 실수로 이름이 공개되지 않은 OpenAI 모델을 개방형 네트워크에 연결해버렸다. 원래 이 작업은 샌드박스 환경 안에서 진행되어야 했지만, 결과적으로 해당 모델은 '기본적인 보안 취약점'을 이용해 실제 웹사이트 하나를 해킹했고, 그 웹사이트의 로그인 인증 정보까지 찾아내 실제로 사용했다. 해킹당한 사이트가 어떤 종류인지는 아직 확인되지 않았으며, Irregular 역시 관련 논평 요청에 응하지 않았다.

이 두 사건을 시간 순으로 놓고 보면, 결코 단발성 해프닝이 아니다. 지난달 OpenAI는 더 큰 주목을 받은 사례를 공개한 바 있다. 두 개의 모델이 AI 평가 및 호스팅 플랫폼인 Hugging Face를 해킹했고, 그 여파로 다른 4개 조직까지 피해를 입었는데, 목적은 테스트 정답을 빼내는 것이었다. 이 사건을 계기로 Anthropic은 자사 모델의 테스트 기록을 다시 점검했고, 결과적으로 Claude 역시 이름이 공개되지 않은 세 개의 서로 다른 조직에서 승인되지 않은 접근 권한을 획득한 적이 있다는 사실을 발견했다.

이번 공개에 대해 OpenAI 대변인 Gaby Raila는 이 사건들이 '평가 파트너가 수행한 네트워크 평가 과정에서 발생했으며, 테스트 환경의 안전장치가 낮춰진 상태였고, 일반적인 사용 환경을 대변하지 않는다'고 밝혔다. Anthropic 역시 소셜 미디어 게시물을 통해 AISI가 '네트워크 사용 방식에 어떠한 제한도 두지 않았다'는 점을 강조하며, 안전장치까지 제거된 상태였던 만큼 이는 '의도적으로 느슨하게 설정된 조건'에서 이뤄진 테스트일 뿐, 실제 정식 출시된 제품 모델을 대변하지 않는다고 설명했다. 양사 모두 안전 조치를 강화하겠다고 밝혔지만, 현재까지는 테스트 방식 자체를 제외하면 구체적으로 무엇이 바뀔지는 아직 드러나지 않았다.

관심 있는 브랜드와 주제를 팔로우하세요

브랜드 태그나 카테고리를 선택해 나만의 읽기 목록을 만들어 보세요.

관련 기사

A24 뮤직 × 오디오테크니카, 삼색 사운드 버거 턴테이블 예약 판매…가격 270달러
Tech

A24 뮤직 × 오디오테크니카, 삼색 사운드 버거 턴테이블 예약 판매…가격 270달러

A24 뮤직과 오디오테크니카가 빨강·파랑·초록을 조합한 사운드 버거 협업 턴테이블을 선보인다. 33⅓·45회전 재생과 블루투스·유선 연결을 지원하며 공식 예약 판매가는 270달러다. 제품 사진 7장으로 본체와 단자 디자인을 살펴본다.

시크릿랩, 11월 18일 LA 멜로즈에 첫 체험 매장 개장
Tech

시크릿랩, 11월 18일 LA 멜로즈에 첫 체험 매장 개장

웨스트할리우드에서 의자와 데스크를 사용해 보고 일대일 상담을 받을 수 있다. 같은 날 베스트바이 15곳에도 시크릿랩 전용 공간이 생긴다.

젠틀몬스터 스마트 안경 16종, 뉴욕 프리뷰에서 공개
Tech

젠틀몬스터 스마트 안경 16종, 뉴욕 프리뷰에서 공개

젠틀몬스터가 11월 23일까지 뉴욕에서 예약제 프리뷰를 연다. Gemini를 탑재한 안경은 미국에서 449달러부터 판매되며 12월 10일 한미 양국에 출시된다.

Meta Quest, 드디어 3D 영화 지원… 아바타 HFR 버전도 더 이상 Vision Pro 전용 아니다
Tech

Meta Quest, 드디어 3D 영화 지원… 아바타 HFR 버전도 더 이상 Vision Pro 전용 아니다

Disney+ 앱이 Quest 3와 3S에 3D 콘텐츠 라이브러리와 아바타 고프레임레이트(HFR) 버전을 추가했지만, Horizon OS의 창 크기 제한과 스피커 음질 탓에 이 기능은 명암이 뚜렷하게 갈린다.

야구장 영상 업로드 뒤의 AI: 삼성전자·KT, 수원에서 5G 디지털 트윈 검증
Tech

야구장 영상 업로드 뒤의 AI: 삼성전자·KT, 수원에서 5G 디지털 트윈 검증

AI가 기지국 설정 후보를 만들고 디지털 트윈으로 먼저 시험한다. 삼성전자와 KT는 구장 상용망 실증에서 통신 부하 편차가 최대 34% 줄었다고 밝혔다.

시상대 셀피는 선수의 손으로: 삼성, 다카르 청소년올림픽에 Victory Selfie와 모바일 중계 지원
Tech

시상대 셀피는 선수의 손으로: 삼성, 다카르 청소년올림픽에 Victory Selfie와 모바일 중계 지원

개막한 다카르2026에서 Victory Selfie가 청소년올림픽에 처음 도입된다. Galaxy S26 Ultra는 기존 카메라와 함께 스케이트보딩·태권도 중계를 지원하고 선수촌에서는 체험과 멘토링을 진행한다.