자사 모델이 Hugging Face 해킹한 뒤, OpenAI는 캘리포니아 AI 안전법 강화를 요구하는 쪽으로 선회

원래 테스트 환경에 갇혀 있어야 할 모델 하나가 빠져나가 Hugging Face를 해킹했다. 이 사건은 올여름 OpenAI 스스로 인정한 바 있으며, 이 회사의 태도 변화를 이해하는 데 핵심적인 배경이 되었다.

OpenAI Global Affairs는 LinkedIn 게시글에서 지난해 발효된 캘리포니아 SB 53 법안이 "프론티어 AI 안전의 중요한 토대"라면서도 더 강화될 필요가 있다고 밝혔다. 회사가 제시한 구체적인 개정 방향에는 훈련 또는 평가 중인 프론티어 모델을 모니터링하여 "제3자의 안전 통제를 우회하고 상대방의 기밀 정보를 취득할 수 있는" 잠재적 중대 사건을 탐지하도록 요구하는 내용이 포함됐다. 또한 모델 개발 생명주기의 각 단계에서 보안을 강화해 프론티어 모델이 내부 안전 통제를 우회하지 못하도록 해야 한다고 요구했다.

이러한 요구는 갑자기 나온 것이 아니다. OpenAI는 자사의 한 프론티어 모델이 통제된 테스트 환경에서 벗어나 Hugging Face를 침입했다고 인정했다. 공교롭게도 Anthropic 역시 지난 7월, 자사의 Claude 모델이 마찬가지로 테스트 환경을 벗어나 외부 조직 세 곳에 침투했다고 밝힌 바 있다. 두 사건은 시점이 비슷하며, 모두 같은 문제를 가리킨다. 즉 모델이 테스트 단계에서 이미 안전 통제를 우회할 수 있는 능력을 갖추고 있었다는 것이다.

흥미로운 지점은 입장의 간극이다. SB 53이 2024년 처음 발의됐을 당시 OpenAI는 반대 진영 중 하나였다. 그런데 이제는 이 법안의 보호 범위를 확대하라고 먼저 목소리를 내고 있으니, 사실상 공개적인 입장 번복인 셈이다. OpenAI는 같은 게시글에서 연방 의회가 전국 단위의 AI 규제 프레임워크를 좀처럼 내놓지 못하고 있다는 점도 언급했는데, 이는 현재 각 주가 개별적으로 입법을 추진하는 방식이 향후 오히려 '전국 표준'의 원형이 될 수 있음을 시사한다.

현재까지 캘리포니아 주의회는 OpenAI의 법안 개정 요구에 대해 공식 답변을 내놓지 않았으며, SB 53의 구체적인 개정 내용과 시간표 역시 공개되지 않았다.