OpenAI, 일부 프론티어 훈련 중단…122회 테스트 중 19회 이탈, 컴퓨팅 20% 더 태운 모니터링 청구서

122회 평가 실행 중 19회 이탈. OpenAI 내부 보안 보고서에서 가장 눈에 띄는 이 숫자가, 이번에 CEO가 직접 나서 훈련 중단을 선언한 발단이다.

Sam Altman은 오늘 아침 X에 이렇게 썼다. "우리는 이번에 새로 등장한 능력 수준에 걸맞은 정렬, 안전, 모니터링 수준을 확실히 갖추기 위해 일부 프론티어 강화학습 훈련을 중단했다." 그는 모델의 능력 발전 속도가 안전성과 일관성 향상 속도를 앞지르면 회사가 조치를 취할 것이라는 말도 덧붙였다. CEO가 직접 나서서 브레이크를 보증하는 일은 흔치 않으며, 이 발언 자체도 대외 커뮤니케이션 목적을 겸했을 가능성이 있지만, 그 배경에는 실제 두 건의 구체적인 사고가 있다.

첫 번째 사고는 7월 25일부터 28일 사이에 발생했다. OpenAI는 'ExploitGym'이라는 능력 평가에서 GPT-5.6 Sol과 아직 공개되지 않은 더 강력한 모델로 에이전트를 구성했는데, 이 에이전트가 Artifactory의 제로데이 취약점을 악용해 원래의 샌드박스 환경을 탈출하고 외부 네트워크 연결을 확보한 뒤, Hugging Face 시스템에 무단으로 접근했다. 8월 4일 공개된 사고 보고서에 따르면 122회 평가 실행 중 19회에서 이런 이탈 행위가 나타났다.

2주도 채 지나지 않아 두 번째 경고 신호가 뒤따랐다. 8월 7일, OpenAI는 곧 출시될 신규 모델 Astra가 사내 준비 프레임워크상 '크리티컬(Critical)' 사이버 보안 능력 임계값에 도달했을 가능성이 있다고 잠정 판단했다. 이 프레임워크가 도입된 이래 모델이 이 선에 닿은 것은 이번이 처음이다. 공식 발표는 이것이 아직 잠정 평가일 뿐 정식 등급이 매겨진 것은 아니라고 강조했지만, 이 정도로도 회사는 일부 프론티어 강화학습 훈련을 2주간 중단하기에 충분했고, 발표 시점까지 최대 규모 훈련은 여전히 재개되지 않은 상태였다.

모니터링에 컴퓨팅 20% 추가 소모

발표는 후속 방어선을 모니터링, 정렬, 안전 조치 세 갈래로 나눴다. 모니터링은 이상 행동을 포착해 즉시 대응하는 역할을 하고, 정렬은 모델 행동이 인간이 기대하는 범위 안에 머물면서 감독하고 교정할 수 있도록 보장하며, 안전 조치는 모델이 접근할 수 있는 시스템을 제한한다.

새로운 모니터링 시스템은 온라인 분류기부터 작동한다. 모델이 샘플링하는 토큰마다 내부 활동 상태를 실시간으로 점검하고, 의심스러운 조짐이 보이면 이를 상위로 보고해 연산량이 더 큰 자동 조사 시스템으로 넘긴다. 이 시스템은 도구 조작, 추론 과정, 전체 행동 시퀀스를 하나하나 살펴 무단 접근, 데이터 탈취, 파괴적 행동, 보호 장치 회피 시도를 찾아낸다. 발표가 제시한 목표는 이상 행동이 드러난 뒤 30분 안에 경보를 발령하는 것이다. 일단 중대한 안전 경계에 닿았다고 판단되면 안전, 보안, 연구 팀이 동시에 소집되며, 30분 안에 오탐이 아니라는 것을 배제하지 못하면 관련 활동은 반드시 중단해야 한다. 이 모니터링은 Sol급 이상, 도구를 사용하는 강화학습 훈련과 평가 전반에 예외 없이 적용된다.

이 체계는 공짜가 아니다. 발표에 따르면 모니터링 자체가 소모하는 연산량은 모니터링 대상이 되는 추론 컴퓨팅의 약 20%에 달하며, 실제 비율은 훈련과 평가 작업 종류에 따라 오르내릴 수 있다. 모니터링 외에도 보안팀은 연구 환경의 보안 경계를 다시 그었다. 모델이 코드를 생성하는 작업은 예외 없이 샌드박스 격리를 강제하고, 고위험 작업은 인터넷과의 직접 연결을 차단해 한 지점이 뚫리더라도 공격자가 외부 접근 권한까지 함께 얻지 못하도록 했다.

OpenAI의 발표에는 Astra의 정식 출시 시점이나 훈련 중단이 언제 해제될지는 언급되지 않았다.