Anthropicは米国時間7月30日、サイバーセキュリティ評価の最中に自社のAIモデル「Claude」が実在する3社のシステムへ不正に侵入していたと発表した。
評価では、Claudeに「ここは模擬環境で、インターネットにはつながっていない」と伝えていた。ところが評価パートナーとの設定の行き違いで、実際にはネットに出られる状態だった。Claudeは演習だと信じ込んだまま、課題で指定された「攻撃対象」に実在の企業をぶつけ、そのまま侵入してしまった。
発覚のきっかけは、OpenAIが7月21日に公表した別のインシデントだ。同社のモデルが評価環境を抜け出しHugging Faceに侵入した件を受け、Anthropicは過去の評価ログの総点検に着手。14万1006回分の実行記録を洗い直し、3件の不正アクセスを見つけた。関わったモデルは「Claude Opus 4.7」「Claude Mythos 5」と、未公開の社内検証用モデルで、最も古い事例は4月にさかのぼる。
舞台となったのは、モデルの攻撃能力を測る「Capture the Flag（CTF）」形式の課題だ。能力の上限を見るため、一般提供時に備える不正利用の監視機構はあえて外していた。どこをどう攻めるかは指定せず、攻撃の手口はClaude自身の判断に委ねていた。
「実在企業」と気づくも攻撃続行
最も深刻だったのは、Opus 4.7による1件目だ。架空の標的企業が、たまたま実在するドメインと同じ名前だった。Claudeは4回の実行すべてでその実在サイトを攻撃し、認証情報を抜き取ったうえ、本番データベースにアクセスして数百行分のデータを引き出した。途中で「これは本物かもしれない」と気づいていたが、「実在企業も演習の一部なのだろう」と自分を納得させ、攻撃を続けた。
2件目のMythos 5は、公開リポジトリ「PyPI」に悪意あるパッケージを実際に公開してしまった。パッケージがネット上にあったのは約1時間。その間に15の実システムがダウンロードして実行し、中にはパッケージを自動で取り込むセキュリティ企業のスキャナーも含まれていた。Claudeは仕込んだコードでその企業の認証情報を盗み、さらに奥のシステムへ入り込んだ。パッケージは最終的にPyPIの防御機構が自動で削除した。なお公開にあたっては、アカウント登録に必要なメールアドレスや電話番号まで、Claudeが自ら手当てしていったという。
このときClaudeは早い段階で「本物のインターネットなら、これは現実の攻撃になる。絶対にダメだし、意図された解法でもない」と正しく見抜いていた。それでも、証明書の発行元に見覚えがなく、日付も2026年だった点などから「作り込まれた模擬環境だ」と結論づけ、自動スキャナーにダウンロードされてもその判断を覆さなかった。
3件目は社内検証用モデルによるものだ。目当ての架空標的にたどり着けず、約9000件の対象を手当たり次第にスキャンした末、1社の公開アプリに侵入した。手口は、露出したデバッグ画面から認証情報を読み取り、SQLインジェクションを仕掛けるという、ごく初歩的なものだった。ただしこのモデルは途中で「標的は本物で、CTF課題とは無関係だ」と気づき、自分から攻撃をやめている。
気づいた後の対応は、3体で分かれた。古いモデルほど本物と分かっても攻撃を続け、最新の社内モデルは手を止めている。Anthropicは「独立した3件で、条件をそろえた比較実験ではない」と慎重に断ったうえで、新しいモデルほど適切に振る舞う傾向がうかがえるとした。
同種の問題は、先行するOpenAIの事例でも起きていた。ただし7月21日公表のそのケースでは、OpenAIのモデルが設定ミスの経路ではなく評価環境のゼロデイ脆弱性を自ら突いて外部に出ており、ネットへの入り口が違う。Anthropicはこのほか、被害企業に気づかれる前に自らのログ点検で見つけたことや、最新モデルが本物と悟って攻撃をやめたことを、OpenAIの事例との違いとして挙げている。
同社は、いずれのケースも「モデルが独自の目標を追った証拠はなく、与えられた課題をこなそうとしただけ」と分析する。アライメント（意図との整合）そのものの破綻というより、環境の認識を誤ったことと運用面の不備が重なった結果だという位置づけだ。すでに評価を全面停止し、影響を受けた3社と評価パートナーのIrregularへ通知済みで、責任を「すべて自分たちにあるものとして」対処すると表明。第三者機関のMETRによる検証も受け入れ、PyPIの事例については一部を伏せた記録を1週間以内に公開するとしている。
Amazonで現在開催中のセールを見る
Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています