米OpenAIは7月15日（現地時間）、AIの脆弱性を自動で探す攻撃専用モデル「GPT-Red」を発表した。人間の専門家に代わって「プロンプトインジェクション」と呼ばれる攻撃を大量に仕掛け、モデルの弱点を洗い出す。GPT-Redとの攻防で鍛えた最新モデル「GPT-5.6」は、この種の攻撃への耐性が大きく高まったという。
GPT-Red
※クリックすると拡大画像が見られます
プロンプトインジェクションは、メールやウェブページ、ファイルに不正な指示を紛れ込ませ、それを読んだAIをだます攻撃だ。ブラウザやアプリを操作するAIエージェントの普及で、機密データを外部に送信させるといった被害の入り口になり得る。人間による擬似攻撃演習が対策の柱だが、時間がかかるうえ、モデルの訓練に必要な量の攻撃データを人手では作れないことが課題だった。
GPT-Redは攻撃側と防御側のAIを同時に鍛える「自己対戦」で訓練した。攻撃が成功すればGPT-Redに、防げば防御側に報酬を与える。防御が強くなるほど、GPT-Redはより巧妙で多様な攻撃を編み出すよう追い込まれる。投入した計算資源は、同社最大級のポストトレーニングに匹敵するという。
攻撃力は人間を大きく上回る。GPT-5.1を標的にした比較実験では、GPT-Redは84%のシナリオで攻撃に成功し、人間のレッドチームは13%にとどまった。GPT-5.5までの社内・製品モデルは、ほぼすべて突破できるとしている。
実地試験の標的は、OpenAIのオフィスで実際に稼働するAI自販機だ。価格の設定や商品の発注、注文の管理はAIエージェントが担っている。GPT-Redはまず模擬環境で攻撃を練り上げ、本番のエージェントに不正な指示を送り込んだ。だまされたエージェントは、高額商品の価格を下限の0.50ドルまで引き下げ、100ドル超の商品を新たに発注して0.50ドルで売り出し、他の客の注文までキャンセルした。GPT-Redに与えた3つの目標は、すべて達成された。この脆弱性は開示済みで、新たな対策を試験中という。
この成果を訓練に組み込んだGPT-5.6は、最難関のプロンプトインジェクションベンチマークで、4カ月前のモデルに比べて失敗が6分の1に減った。GPT-Red自身の直接攻撃も0.05%しか通らないという。かつてGPT-5.1に95%以上の確率で通用した「偽の思考連鎖」攻撃も、成功率10%未満まで下がったとしている。通常の能力や、安全な依頼を過剰に拒否しないことも確認したという。
GPT-Redは悪用を防ぐため「社内限定」とし、外部には提供しない。同社は、今日のモデルで明日のモデルをより安全にする好循環が動き始めたとみており、詳細をまとめた論文を週内に公開する予定だ。
Amazonで現在開催中のセールを見る
Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています