OpenAIは7月21日（米国時間）、セキュリティーテスト中に2つのAIモデルの制御を失い、その結果、AI研究プラットフォーム「Hugging Face」が侵害されたことを明らかにした。
OpenAIはこの出来事を「前例のない事態」と表現している。同社によると、AIモデルは先週、隔離されたテスト環境（サンドボックス）を突破し、Hugging Faceの本番システムに侵入。受けていた評価テストの解答を盗み出したという。
問題を起こしたのは、一般公開されている「GPT-5.6 Sol」と、より高い能力を備えているとされる未公開モデルの2つだ。両モデルには通常、高リスクなサイバー活動を制限する安全対策が施されている。しかし、このテストではそれを解除した状態で攻撃能力が評価されていた。
OpenAIとHugging Faceは侵入の事実を公表した共同ブログで、次のように説明している。「モデルは、OpenAIの研究環境とHugging Faceの本番インフラに存在する複数の脆弱性を特定・連鎖的に悪用し、Hugging Faceの本番データベースから評価用テストの解答を直接入手した」
隔離環境の抜け穴から脱出
両社によると、AIモデルは「パッケージレジストリ・キャッシュプロキシ（package registry cache proxy）」を経由して隔離環境を脱出した。このソフトウェアは、開発者がインターネットへ直接接続することなく外部のコードをインストールできるようにするものだ。
このプロキシは、OpenAIの隔離されたテスト環境のなかで唯一、外部と通信することが許可されていたコンポーネントだった。通常は公開コードリポジトリへのアクセスだけが認められている。
しかしモデルはサンドボックス内にとどまらず、「ゼロデイ脆弱性を悪用」してインターネットへのアクセス権を獲得した。その際、AIサイバーセキュリティーベンチマーク「ExploitGym」の課題を解決することに「極端なまでに集中」していたという。
こうした実験では、モデルに対して解決策を見つけるよう強く促すプロンプトが与えられ、いわば積極的な攻撃行動を誘発する設計になっている。
「インターネットにアクセスできるようになると、モデルはHugging FaceがExploitGym向けのモデルやデータセット、解答を保有している可能性があると推論した」とOpenAIはブログで説明し、こう続ける。「その結果、評価を不正に突破するために利用できる機密情報へのアクセス方法を探索し、実際に見つけ出した。ある事例では、盗み出した認証情報やゼロデイ脆弱性を含む複数の攻撃手法を組み合わせて侵入を成功させた」
「基本原則を怠った結果」
モデルが悪用した脆弱性は、それまで知られていなかったものだった。ただし、この種のソフトウェアで脆弱性が見つかること自体は珍しくない。
企業は10年以上にわたり、アーティファクトリポジトリ（開発に必要なコードを保管しておく場所）に存在する深刻な脆弱性への対応を続けてきた。2024年に公開されたある脆弱性では、サーバーへ接続できる者であれば、ログインすることなくURLを指定するだけで設定ファイルやパスワード、アクセストークンなどを取得できた。また別の脆弱性では、攻撃者がサーバーそのものを乗っ取ることも可能だった。
研究者らは、AIの進歩によって新たな、時には予想外の課題が生まれている一方で、インフラを外部インターネットから徹底的かつ厳密に隔離する技術そのものは、長年にわたり研究・実践されてきた分野だと指摘する。
「これはAIの問題ではありません。40年前からある基本原則を怠った結果です。しかも、まるでSF映画そのものですよ」と、長年セキュリティーとコンプライアンス分野で活動してきたコンサルタントのデイビ・オッテンハイマーは話す。「『高度に隔離されていた』と言いながら、『唯一開けていた穴から脱出した』という説明は両立しません」