Gemini 4 Argon、ARC-AGI-3テストで97.5%を達成 AIベンチマークが再び突破される — BigGo ファイナンス

「AGIの最終試験場」とも呼ばれるARC-AGI-3ベンチマークで、グーグル(Google)傘下のDeepMindのGemini 4 Argonが97.5%の検証スコアを獲得した。ARC Prize公式が10月16日にこの結果を公表したもので、同ベンチマークの公開からわずか約7カ月後のことだ。公開当初、最先端モデルはすべて1%未満のスコアだった。

この成績により、グーグルはARC-AGI-3で95%を突破した2番目のAI研究所となった。1社目はOpenAIである。Gemini 4 Argonの97.5%はランキング上、OpenAIのGPT-6 Astra(99.9%)に次ぐもので、OpenAIが9月末に公表したGPT-6.1 Sol(96.37%)を上回った。

ARC-AGI-3は従来の選択式や穴埋め式のテストではない。インタラクティブなゲーム環境であり、モデルは64×64のカラーマス目で構成された未知の小さなゲームに置かれる。用途が示されていない7つの動作ボタンを前に、説明書もなく、既定の指示もなく、クリア目標を教える者もいない。モデルは自力で試行錯誤し、ルールを推論し、目標を発見し、経路を計画しなければならない。問われる核心は、完全に未知の環境でその場で学び活用する能力である。

タイムラインは追い上げの速さを示している。3月下旬にARC-AGI-3が公開され、最先端モデルは総じて1%未満だった。9月2日、OpenAIのGPT-6 AstraがProvider Adapter設定下で99.9%以上に到達し、95%を突破した最初の研究所となった。9月29日にはGPT-6.1 Solが96.37%を記録。9月30日にグーグルがGemini 4 Argonを発表し、10月16日に公式がその検証成績を公表した。

効率のデータも注目に値する。公開されている25ゲームのうち、Argonがクリアに要した行動回数は人間のベースラインより62%少なかった。うち3ゲームではRTA(タイムアタック)プレイヤーの極限記録に並ぶか上回り、さらに6ゲームでは記録との差が10%未満だった。

ARC Prize共同創業者のMike Knoop氏は、ArgonがProvider Adapterを通じてARC-AGI-3を「有効に最大化」した2番目のモデルファミリーだと述べ、行動効率に「逆方向の屈曲」が生じていると指摘した。効率の向上速度が予想より速いという。

ただし、成績表に併記されたもう一組の数字も同様に重要だ。同じモデルでもStandard harness下では49.8%にとどまり、コストは5800米ドル。一方、Provider Adapter harness下では97.5%で、コストは4800米ドルだった。両者の差は約48ポイントに達し、そのすべてが「harness」に由来する。harnessとはモデルと環境のやり取りを担う操作台であり、入力のフィードバック、動作の出力、履歴経路の記憶を担う。Provider Adapterは各社が自社モデル向けにカスタマイズした接続方式であり、Standard harnessは全参加モデルに一律に配布される標準版である。

さらに直感に反するのは、標準ハーネスの方がコストが高いのに、スコアは半分強にとどまる点だ。細分化データによると、低推論設定で49.8%(55ゲーム中42ゲーム完了)、中推論設定で46.3%(46ゲーム完了)、高推論設定はAPIの問題で19ゲームしか完走できず、スコアは非公表だった。中推論設定は4ゲーム多く完了したにもかかわらず、総合スコアは逆に3.5ポイント低かった。より長い思考時間はより高いスコアをもたらさなかったのである。

この現象はArgonに固有のものではない。首位のGPT-6 Astraの99.9%も同様にProvider Adapter下で取得されたもので、標準ハーネスに替えると62.7%にとどまる。AnthropicのClaudeシリーズはARC-AGI-1とARC-AGI-2では高いスコアを出すが、ARC-AGI-3ではスコアが低いか、テスト未実施のいずれかである。少なくともこのベンチマークでは、現状はOpenAIとグーグルの2社による競争構図となっている。

モデルProvider AdapterスコアStandard harnessスコアGemini 4 Argon97.5%49.8%GPT-6 Astra99.9%62.7%GPT-6.1 Sol96.37%非公表

注:Provider Adapterは各社カスタマイズの接続方式、Standard harnessは統一標準版。コスト面ではArgonはProvider Adapter下で4800米ドル、Standard harness下で5800米ドル。

一方、別の戦線でも競争が激化している。世界のAIモデル仲介プラットフォームOpenRouterの集計によると、10月5日から11日までの開発者リクエストのうち、中国企業のモデルが約48%を占め、OpenAI、グーグル、Anthropicの3社合計の40.3%を上回った。内訳はDeepSeekが24.5%で首位、OpenAIが18.6%、グーグルが17.8%、智譜AI(Zhipu AI)が13.4%、アリババの通義千問(Qwen)が5.4%だった。智譜AIのリクエスト量は前週比107%急増した。処理データ量で見ると、上位5社はすべて中国企業である。

価格は開発者の選択における重要要素だ。DeepSeekの企業向けサービスは入力価格が最低で100万トークン当たり0.15米ドル、一方OpenAIのGPT-6.1 Solは2米ドル、AnthropicのClaude Opus 5.5は4米ドルである。DeepSeekは10月17日にV4.1 Flashの改良版を発表し、ソフトウェア開発とオフィス自動化の能力でOpenAIとAnthropicの主要モデルを上回るとし、価格は据え置いた。

米国企業も低価格戦略に追随している。OpenAIは先月、100万トークン当たり0.1米ドルのGPT-6 Lunaを投入し、Anthropicは今月、同価格帯のClaude Haiku 5.5を発表した。グーグルは最近、最上位モデルを期間限定で従来の最高価格モデルの半額以下で提供し、Metaも比較的安価な高性能モデルを投入した。

AIエージェント市場の拡大がこの流れを加速させている。エージェントは単一タスクの実行にモデルを複数回呼び出す必要があり、利用量が増えるほど価格差が企業の運営コストに与える影響は顕著になる。高麗大学Human-Inspired AI研究院の崔炳浩(チェ・ビョンホ)研究教授は「企業はAIモデルが一定の性能水準に達しさえすれば、より安価なモデルを選ばざるを得ない。特にAIエージェントの普及に伴い運営コストの負担が重くなり、価格競争力がさらに重要になる」と述べた。

投資家にとって、ARC-AGI-3のスコア競争は2つの情報を伝えている。第一に、ベンチマークが突破される速度は回を追うごとに速まっており、知能を測る物差し自体が加速的に失効しつつある。第二に、49.8%と97.5%の差は、現在のランキングが比較しているのがモデル単体の知能ではなく、モデルとharnessを合わせたシステム全体であり、接続方式とエンジニアリング能力が約半分の差を生み得ることを示している。価格戦争とエージェント需要が同時に高まる中、モデル各社の収益力はトークン単価とシステムレベルでの統合能力の両方に左右されることになる。