OpenAI, 수학 논문 722편 공개…단일 프롬프트 문제 풀이 검증 논란

논문 722편, 수학 난제 372개, 결과물 하나당 평균 약 3시간의 ChatGPT Pro 사용량——이것이 OpenAI가 이번에 공개한 규모다. 하지만 정말 흥미로운 지점은 방법론이다. OpenAI가 《Scientific American》에 밝힌 바에 따르면, 거의 모든 논문이 단일 프롬프트를 단일 AI 에이전트에게 전달하는 방식으로 완성됐다.

이번 논문들은 전부 GitHub에 업로드됐으며, OpenAI가 새로 꾸린 자문 그룹인 '수학 및 인공지능 자문위원회'(Advisory Group on Mathematics and Artificial Intelligence, AGMAI)의 확인을 거쳤다. 지난달 OpenAI는 이미 자사 모델이 "수학의 거의 모든 분야에 걸쳐 오랫동안 미해결로 남아 있던 100개 이상의 문제를 해결했다"고 발언한 바 있는데, 이번 공개는 그 구체적인 목록을 내놓은 셈이다. 회사 측은 이 성과를 낸 것이 아직 외부에 공개되지 않은 ChatGPT 선행 모델이라고 밝혔다.

OpenAI가 주장하는 주요 성과로는 4차원 카케야 추측(Kakeya conjecture)의 해법, 몇 가지 핵심 컴퓨터 알고리즘의 개선, 그리고 리만 가설(Riemann hypothesis)에 대한 진전이 꼽힌다. 이 셋 중 어느 하나라도 입증된다면 수학계에 큰 사건이 될 사안들이다. 회사는 발표문에서 이번에는 우선 GitHub 저장소 형태로 공개하며 논문 수정 및 인용 체계를 함께 마련했다고 밝히면서, "동시에 위원회 기준에 부합하는 다른 커뮤니티 호스팅 방안도 계속 모색하고 있다"고 덧붙였다. 아울러 향후 공개에서는 인용 규범, 수학적 논증, 제시 방식 면에서 더욱 완성도를 높이겠다고 약속했다.

하지만 AGMAI가 권고한 투명성 조치를 OpenAI는 절반만 이행했다. 위원회는 애초 문제별 개별 연산 시간과 사용된 프롬프트를 공개하라고 권고했으나, OpenAI는 이를 따르지 않고 전체적인 추론 과정, 연산량 추정치, 시도한 문제 수에 대한 개괄적인 정보만 제공했다. 다시 말해 외부에서는 결과 목록은 볼 수 있지만, 그 결과가 어떻게 도출됐는지 검증할 수 있는 구체적인 경로는 확인할 수 없는 셈이다.

바로 이 지점이 논란의 핵심이다. 이에 앞서 OpenAI의 나비에-스토크스(Navier-Stokes) 관련 주장이 이미 수학계에 한 차례 파문을 일으켰고, 많은 학자들이 'AI가 한 번에 문제를 풀었다'는 식의 주장에 신중한 태도를 보이고 있다. MIT 수학자 앤드루 서덜랜드(Andrew Sutherland)는 《Scientific American》에 "모델을 공개해 이 결과들을 재현할 수 있게 하지 않는 한, 단일 에이전트가 한 번에 문제를 풀었다는 주장은 모두 미검증 상태로 간주해야 한다"고 말했다.

OpenAI가 공개한 이번 논문들은 여전히 수학자들이 하나하나 검토하고 검증해야 하며, 그 영향 범위는 심사 결과가 나와야 판단할 수 있다. 모델 자체를 외부에 공개할지, 구체적인 프롬프트 내용을 언제 보완할지에 대해서도 OpenAI는 아직 일정을 제시하지 않았다.