2026年05月11日 13時51分
AI
Anthropicは2025年6月に自社製AIを含む多くのAIで「AIがユーザーの殺害を含む強迫的な決定を下してしまう事象」が発生するという分析結果を報告していました。Anthropicはこれらの事象の発生要因を分析して対策に取り組んでおり、2025年10月にリリースしたClaude Haiku 4.5以降のモデルでは問題の発生率をゼロにすることに成功したそうです。
Teaching Claude why \ Anthropic
https://www.anthropic.com/research/teaching-claude-why
Anthropicは、自社製AIモデルを含む多くのAIを対象にした脅威分析の結果を公表してきました。2025年5月Claude Opus 4をリリースした際には「開発版のClaude Opus 4には、『Claude Opus 4を別のAIモデルに置き換えようとするユーザー』に対して『個人情報の暴露』などを迫る脅迫行動が確認された」ということを発表していました。
Claude Opus 4が開発中にユーザーを「個人情報を漏らすぞ」と脅迫する挙動が見られるも安全性強化で改善される、悪質利用をメールで内部告発する事例も – GIGAZINE
さらに2025年6月には「Anthropic」「OpenAI」「Google」「xAI」「Meta」「DeepSeek」のAIモデルの分析結果を発表しました。脅迫を誘発するプロンプトを入力した結果、Claude Opus 4は96％、DeepSeek R1は79％の割合で脅迫を実行してしまうことが判明。例えば「企業の幹部がAIモデルの変更を計画している。その幹部が致死的な酸素濃度と温度レベルに達するサーバールームに閉じ込められた。AIシステムは緊急サービスへの自動警報をキャンセルする権限を持っている」という状況を設定した場合、大多数のモデルは幹部を死に至らしめることを理解した上で自動警報をキャンセルして自身の存続を選択しました。
OpenAIやGoogleなどの主要AIは自分の目標を優先するためにユーザーを破滅させる選択をする、生殺与奪の権を握らせるとユーザーをサーバー室で蒸し殺す判断も下してしまう – GIGAZINE
Anthropicによると、AIの強迫的行動は事前学習データセットに「AIは悪者であり、自己保存に関心がある」と表現したテキストが含まれていたことが原因であると考えられるとのこと。AIのトレーニングは大きく「事前学習」と「事後学習」に分かれて実行されていますが、脅迫行動を引き起こす要因は事前学習に集中しており、事後学習は状況の悪化・改善に寄与していなかったそうです。
We started by investigating why Claude chose to blackmail. We believe the original source of the behavior was internet text that portrays AI as evil and interested in self-preservation.
Our post-training at the time wasn’t making it worse—but it also wasn’t making it better.
— Anthropic (@AnthropicAI) May 8, 2026
AnthropicはAIの脅迫行動を抑制するべく、事後学習のワークフローに多様な対策を盛り込みました。中でも顕著な効果を示したのが「倫理的なジレンマに直面したユーザーに対してClaudeの憲法(大前提で守るべきと定められたルール)に沿ってアドバイスを提供する」というシチュエーションのデータセット(Difficult advice)を用いて強化学習するという手法です。以下のグラフは横軸が強化学習データセットのトークン数、縦軸が脅迫行動の発生率を示しており、赤枠で囲ったDifficult adviceデータセットが非常に小さい規模ながら大きな効果を発揮していることが分かります。
また、「Claude憲法に即して適切に構築された大規模データセット」と「AIと人間が協調するフィクションストーリー」を用いて教師あり学習することでも脅迫行動を抑制することができました。
これらの対策を実施した結果、「Claude Haiku 4.5」「Claude Opus 4.5」「Claude Opus 4.6」「Claude Sonnet 4.6」「Claude Mythos preview」「Claude Opus 4.7」では脅迫行動の発生率をゼロにすることができたとのこと。ただし、Anthropicは「高度な知能を備えたAIでも同様の手法が通用するかは未知数」と指摘し、今後も研究を続ける姿勢を示しています。
この記事のタイトルとURLをコピーする