Anthropic（アンソロピック）の最新AIモデル「Claude Fable 5」が、MirrorCodeベンチマークで成功率64%を記録し、首位に躍り出た。競合他社との間に大きな差を生み出している。MirrorCodeのリーダーボードで更新された最新ランキングによると、同モデルはOpenAI（オープンAI）の「GPT-5.6 Sol」を大きく上回った。GPT-5.6 SolのスコアはFable 5の約3分の1にとどまっている。
このベンチマーク結果は、AIのコーディング能力における顕著な変化を示している。4位にランクインしたGPT-5.5はわずか10%のスコアにとどまり、前世代のGPT-5.4を下回る結果となった。この異例の結果は、新しいモデルが旧バージョンと比較してパフォーマンスが低下していることを示唆している。
Fable 5のパフォーマンスが特に際立っているのは、異なるプログラミング言語間での一貫性だ。同モデルは、Go言語のようなリソース集約型言語で64%の解決率を達成した。航空宇宙・防衛分野で主に使用されるニッチな言語であるAdaに切り替えた場合でも、スコアは61%にしか低下しなかった。
この一貫性は、AIモデルがコーディングタスクをどのように処理するかに関する従来の想定に疑問を投げかけている。オープンソースエコシステムでは、PythonのトレーニングデータはAdaのデータより約230倍豊富に存在する。もしモデルが主に一般的な言語からの記憶された構文パターンに依存しているならば、あまり一般的でない言語に切り替えた際にパフォーマンスが大幅に低下すると予想される。
「この結果は別の可能性を示唆している」とレポートは指摘する。「最強のモデルは特定のトレーニングデータに縛られることを超え、ゼロから完全なソフトウェアプロジェクトを構築する方法を学習しているのだ」
MirrorCodeベンチマーク自体は、AIのコーディング能力を試す厳格なテストである。Unixツール、インタープリタ、データクエリ、バイオインフォマティクス、暗号化、圧縮ユーティリティにわたる25のターゲットプログラムが含まれている。モデルはインターネットアクセスがなく、元のソースコードを見ることができず、サードパーティの依存関係をダウンロードできない隔離環境に置かれる。高レベルのドキュメント、いくつかの可視テスト、および繰り返しテストのための元プログラムへのアクセスのみが与えられる。
モデルは可視テストと非表示テストの両方で100%の合格率を達成する必要がある。単一のエッジケースを見逃しただけでも、その実行は失敗となる。ベンチマークでは試行ごとに最大100億トークンが許可され、最大連続実行時間は7日間である。研究論文で最も高価なタスクは19日間実行され、2,600ドル（約41万円）のコストがかかった。
具体的な例がこれらのタスクの規模を示している。約16,000行のGoコードと40以上のコマンドを持つバイオインフォマティクスツール「Gotree」に、Claude Opus 4.7が挑戦した。モデルは14時間と251ドル（約4万円）を費やし、2,001件中2,000件のテストに合格、99.95%の達成率を記録した。日付注釈に関するニッチなエッジケースを見逃したため、MirrorCodeの100%要件を満たすことはできなかった。Epoch（エポック）は、人間のエンジニアがAI支援なしで同じタスクを完了するには2〜17週間かかると推定している。
言語を切り替えた場合、Fable 5と他のモデルとのパフォーマンスギャップはさらに広がる。GPT-5.6 Solは24%から19%に、GPT-5.4は21%から12%に、GPT-5.5は17%から5%に低下した。
これらのベンチマーク結果は、プロジェクトレベルのAI委任への幅広い業界の動きの中で発表された。Cursor（カーソル）は、ほぼ1週間にわたって数百のエージェントを調整し、1,000ファイルにわたる100万行以上のブラウザコードを作成した。Anthropicは、Linux 6.9をコンパイルできる10万行のCコンパイラを構築するために、16のClaudeエージェントを並行して約2,000セッション実行した。OpenAIは、5月までのCodex個人ユーザーサンプルにおいて、ユーザーの70.2%が1時間以上の人間の作業を必要と推定されるタスクを少なくとも1つ提出し、25.6%が8時間を超えるタスクを提出したことを明らかにした。
MirrorCodeの64%の成功率は、プロジェクトレベルの委任へのこのシフトを定量化したものだ。フロンティアモデルが、明確な目的と自動化された結果検証が与えられれば、中規模から大規模のソフトウェアプロジェクトの一部を独立して完了できることを実証している。
AIに作業を委任している人々にとって、その変化はすでに目に見えている。役割は、すべてのコード行を監督することから、主要なマイルストーンが整合しているかを確認することへと移行している。コードの生産コストは低下しており、一方で問題を明確に表現し、結果を正確に検証する能力の価値は高まっている。
ベンチマークデータは、Epoch（エポック）のMirrorCodeに関する研究論文からのもので、StarCoderの公開トレーニングミックスを参照点として使用している。そのデータセットでは、Pythonがトレーニングデータの約8%を占める一方、Adaはわずか0.034%で、比率は約230対1である。クローズドソースモデルのトレーニングデータの正確な構成は不明のままであるが、公開エコシステムにおけるAdaの希少性は明らかだ。
Fable 5のパフォーマンスは、GoコードをAdaに単に行ごとに翻訳しているのではなく、元のプログラムがどのように機能するかを理解し、異なる言語で同じ動作を再現していることを示唆している。
モデルGo解決率Ada解決率変化Claude Fable 564%61%-3ポイントGPT-5.6 Sol24%19%-5ポイントGPT-5.421%12%-9ポイントGPT-5.517%5%-12ポイント
注：MirrorCodeベンチマークランキングのデータ。モデルは可視テストと非表示テストで100%を達成する必要がある。
ソフトウェア開発業界への影響は大きい。AIモデルが複数のプログラミング言語にわたって完全なプロジェクトを処理できる能力を示すにつれ、ソフトウェア生産の経済性は変化している。ベンチマーク結果は、AIコーディングのフロンティアがスニペットの生成から、ソフトウェアシステム全体の独立した構築とデバッグへと移行したことを示唆している。