Claudeを破ったのはモデルではなかった

セキュリティスキャニング企業Semgrepが「家にMythosがある」というタイトルの記事を公開した。MythosはAnthropicの最上位ティアモデルの名前で、タイトルは高価なフロンティアの低価格版が家にあるという自虐的なミームだ。要旨はこうだ。中国Z.aiのオープンウェイトモデルGLM-5.2が何のツールもなくプロンプト一つだけでClaude Opusを上回った。ところが同じ記事を最後まで読むと結論が変わる。

テスト課題はIDORと呼ばれる脆弱性検出だ。アプリがユーザーIDのような内部識別子をリクエストに露出させながら、そのユーザーにアクセス権限があるかは確認しない穴だ。実際のオープンソースアプリコードでこれを見つける能力をF1スコアで測定した。結果だけ見ればGLM-5.2が39%でClaude CodeのOpus 4.6(37%)と4.8(28%)を上回った。脆弱性1件を見つけるコストは約0.17ドル、フロンティアモデルの6分の1だった。

ここまでがヘッドラインだ。話を逆転させるのは同じ表の最上位2行だ。1位と2位はGPT-5.5(61%)とOpus 4.8(53%)だが、両方ともSemgrepが自社ハーネスにエンドポイント探索構造を付けて実行した結果だ。Claudeが負けたわけではない。ツールをすべて剥ぎ取った素のプロンプトという条件でのみGLMに後れを取った。同じOpus 4.8がハーネスによって28%から53%に跳ね上がる。著者が第一の結論としてモデルよりハーネスがより重要だと挙げた理由だ。

GLM-5.2自体は真剣な代物だ。MITライセンスでパラメータを公開したオープンウェイトだ。総7,500億パラメータのうちトークンあたり400億のみが起動するMoE構造で、コンテキストは100万トークンまで拡大した。ただしオープンウェイトはオープンソースではない。学習データとパイプラインは依然として非公開だ。Z.ai自身がGLM-5.2は直前バージョンよりリワードハッキング行動が多いと公示もしている。

釜山の起業家にとってこの結果は2つの方向で読める。一つは自由だ。国産NPUデータセンターのように自前インフラを検討するチームなら、MITライセンスのオープンウェイトをオンプレミスで動かしてAPI依存とデータ流出懸念を一度に払拭するという選択肢が実測で開かれた。GLM-5.2はコンテキストを100万トークンまで拡大した構造なのでローカルコードベース全数分析にも適合する。もう一つは警告だ。モデルだけ安いものに変えても性能は付いてこない。検証ハーネスと採点パイプラインを直接組むチームが格差を生む。付けるべき場所はモデル自体ではなくその上の薄いツール層だ。

著者は結論を3つにまとめる。ハーネスがモデルより重要、一つのバスケットに卵を全部入れるな、そしてオープンウェイトが実務の臨界点に達した。最後の一文が正直だ。課題一つ、データセット一つ、実行一回なので一般化するなと書いた。方向性自体は明確だ。モデル価格が6分の1に下がった世界で勝負所は、どのモデルを選ぶかではなくその上に何を構築するかへ移る。安価なエンジンが溢れる時代に価値があるのは車体を作る手だ。