GLM-5.3, 스스로 '최강 오픈소스 코딩 모델' 자처했지만 자체 벤치마크에서 먼저 발목 잡혀

Z.ai는 GLM-5.3을 "가장 강력한 오픈소스 코딩 모델"이라 부르지만, 정작 자사가 공개한 벤치마크 표를 펼쳐보면 이야기가 그리 깔끔하지 않다. Terminal Bench 3.0에서 GLM-5.3은 28.3점을 기록해 폐쇄형 모델인 Claude Fable 5(33.7점)와 GPT-5.6 Sol(34.6점)에 뒤처졌다. 실제 GitHub 이슈를 처리하는 DeepSWE v1.1 테스트에서도 66.9점으로 오픈소스 동종 업계인 Kimi K3의 67.5점, Fable 5의 69.7점을 넘지 못했다. 자신이 최강임을 증명하려던 공식 문서가 오히려 '최강이 아니다'라는 점을 명확히 드러낸 셈이다.

GLM-5.3은 목요일 GLM Coding Plan 구독 서비스와 ZCode를 통해 출시됐으며, API와 다운로드 가능한 가중치는 보안 심사를 거친 뒤 단계적으로 공개될 예정이다. 이 모델은 743억 파라미터 규모로, GLM-5.2의 기반 위에서 post-training 학습량을 계속 늘려가며 만들어졌다. Z.ai는 발표문에서 "Scaling post-training is all we did for GLM-5.3"이라며, 지난 한 달 동안 더 많은 환경과 다양한 태스크, 그리고 더 많은 컴퓨팅 자원을 투입했다고 설명했다.

이번 발표의 핵심은 점수를 무작정 끌어올리는 게 아니라 토큰을 절약하는 데 있다. Z.ai 자체 Code Bench 테스트에서 GLM-5.3은 Max effort 모드로 34.5%를 기록했으며, 태스크당 평균 약 75,000개의 출력 토큰을 소모했다. 반면 GLM-5.2는 23.4%에 그쳤지만 96,000개의 토큰을 태웠다. 다시 말해 신규 모델은 점수는 올라가고 '연비'는 오히려 좋아진 셈이다. Claude Opus 4.8과 비교하면 Z.ai는 GLM-5.3의 토큰 효율성이 더 낫다고 밝혔지만, 동시에 "remains behind Claude Fable 5, which reaches 39.5% at Max effort"라는 문구도 자사 블로그에 스스로 적어 넣었다.

진짜 돋보이는 대목은 보안 테스트다. GLM-5.3은 CyberGym에서 84.5%를 기록했으며, 취약점 탐지 계열 벤치마크에서는 GLM-5.2 대비 두 배 이상의 점수를 냈다. Z.ai에 따르면 이 모델은 269개의 오픈소스 프로젝트에서 2,436개의 취약점을 찾아냈고, 이 중 1,097개가 중·고위험으로 판정됐다. 이번 발표에서 자체 데이터에 발목 잡히지 않은 몇 안 되는 부분이다.

가격은 오픈소스 모델이 여전히 승부수를 던질 수 있는 지점이다. GLM-5.2의 공식 API 가격은 100만 토큰당 입력 1.40달러, 출력 4.40달러이며, Z.ai는 전체 API 가격이 미국 프론티어 모델의 약 10분의 1 수준이라고 밝혔다. 이에 비해 GPT-5.3-Codex는 입력 1.75달러, 출력 14달러이며, Claude Opus 4.8의 가격은 Anthropic 요금표에서도 최상위권에 자리한다. GLM Coding Plan 자체는 포인트 크레딧 방식으로 운영되며, 비수기 시간대 이용량은 절반 가격으로 할인된다.

'open-weights'라는 타이틀은 현재로선 아직 실현되지 않았다. 발표문에는 가중치가 약 2주 후에나 공개될 예정이라고 명확히 적혀 있으며, 지금 사용 가능한 것은 구독형 GLM Coding Plan과 ZCode일 뿐, 다운로드해서 직접 돌릴 수 있는 파일이 아니다. Z.ai는 미국 Entity List에 등재된 베이징 소재 연구소로, 미국 기업은 이 회사에 통제 대상 기술을 수출할 수 없다. 그럼에도 불구하고 OpenRouter에서 중국산 오픈소스 모델의 토큰 사용량은 이미 미국 동종 모델을 넘어섰고, GLM 시리즈 자체도 상당한 인기를 누리고 있다.

스스로 약점을 드러낸 이번 발표를 요약하면, GLM-5.3은 전작을 이겼고 일부 오픈소스 경쟁자도 넘어섰지만, 가장 눈에 띄는 코딩 순위표에서는 여전히 폐쇄형 미국 프론티어 모델이 앞서 있다. 그리고 이 모델이 자랑하는 '오픈소스'는 현재로선 여전히 공수표에 불과하다.