Claude를 이긴 건 모델이 아니었다

보안 스캐닝 기업 Semgrep이 '집에 Mythos가 있다'는 제목의 글을 올렸다. Mythos는 앤트로픽 최상위 티어 모델의 이름이고 제목은 비싼 프런티어의 저가 짝퉁이 집에 있다는 자조적 밈이다. 요지는 이렇다. 중국 Z.ai의 오픈웨이트 모델 GLM-5.2가 아무 도구 없이 프롬프트 하나만으로 Claude Opus를 눌렀다. 그런데 같은 글을 끝까지 읽으면 결론이 달라진다.

시험 과제는 IDOR라 불리는 취약점 탐지다. 앱이 사용자 ID 같은 내부 식별자를 요청에 노출하면서도 정작 그 사용자에게 접근 권한이 있는지는 확인하지 않는 구멍이다. 실제 오픈소스 앱 코드에서 이걸 찾아내는 능력을 F1 점수로 쟀다. 결과만 보면 GLM-5.2가 39%로 Claude Code의 Opus 4.6(37%)과 4.8(28%)을 앞섰다. 취약점 한 건을 찾는 비용은 약 0.17달러, 프런티어 모델의 6분의 1이었다.

여기까지가 헤드라인이다. 이야기를 뒤집는 건 같은 표의 맨 위 두 줄이다. 1위와 2위는 GPT-5.5(61%)와 Opus 4.8(53%)인데, 둘 다 Semgrep이 자사 하네스에 엔드포인트 탐색 구조를 붙여 돌린 결과다. Claude가 진 게 아니다. 도구를 전부 벗겨낸 맨 프롬프트라는 조건에서만 GLM에 뒤졌다. 같은 Opus 4.8이 하네스에 따라 28%에서 53%로 뛴다. 저자가 첫 번째 결론으로 모델보다 하네스가 더 중요하다고 꼽은 이유다.

GLM-5.2 자체는 진지한 물건이다. MIT 라이선스로 파라미터를 공개한 오픈웨이트다. 총 7,500억 파라미터 가운데 토큰당 400억만 켜지는 MoE 구조에 컨텍스트는 100만 토큰까지 늘렸다. 다만 오픈웨이트는 오픈소스가 아니다. 학습 데이터와 파이프라인은 여전히 비공개다. Z.ai 스스로 GLM-5.2가 직전 버전보다 리워드 해킹 행동이 더 많다고 공시하기도 했다.

부산 창업자에게 이 결과는 두 방향으로 읽힌다. 하나는 자유다. 국산 NPU 데이터센터처럼 자체 인프라를 고민하는 팀이라면, MIT 라이선스 오픈웨이트를 온프레미스로 돌려 API 종속과 데이터 유출 우려를 한 번에 던다는 선택지가 실측으로 열렸다. GLM-5.2는 컨텍스트를 100만 토큰까지 늘린 구조라 로컬 코드베이스 전수 분석에도 맞는다. 다른 하나는 경고다. 모델만 싼 걸로 바꾼다고 성능이 따라오지 않는다. 검증 하네스와 채점 파이프라인을 직접 짜는 팀이 격차를 만든다. 붙을 자리는 모델 자체가 아니라 그 위의 얇은 도구층이다.

저자는 결론을 세 개로 정리한다. 하네스가 모델보다 중요하다, 한 바구니에 달걀을 다 담지 말라, 그리고 오픈웨이트가 실무 임계점에 닿았다. 마지막 한 줄이 정직하다. 과제 하나, 데이터셋 하나, 실행 한 번이니 일반화하지 말라고 적었다. 방향 자체는 분명하다. 모델 가격이 6분의 1로 내려온 세계에서 승부처는 어떤 모델을 고르느냐가 아니라 그 위에 무엇을 짓느냐로 옮겨간다. 값싼 엔진이 널린 시대에 값나가는 건 차체를 만드는 손이다.