2026年10月13日 15時08分
AI
高性能なAIモデルを使って自分のAIモデルを学習する手法「蒸留」は、する側はコストを抑えて最先端モデルに近い性能を実現することができますが、される側は不要な負担を強いられるなどのデメリットがあります。こうした蒸留はしばしば「攻撃」と見なされ、対策が行われています。新たに、Anthropicが望まない蒸留を大幅に低減する手法を公開しました。
Strengthening our defenses against distillation attacks \ Anthropic
https://www.anthropic.com/research/distillation-defenses
Anthropicは蒸留を2つの理由から懸念しているとしています。
1つは蒸留によって高い性能を獲得しつつ堅固な安全対策を備えないまま公開されているモデルがあることです。こうしたモデルは生物学やサイバーセキュリティなどの分野で重大な危害を引き起こすために利用される可能性があります。実際、中国企業Z.aiが無償公開しているモデル「GLM-5.3」はアメリカ製のモデルを蒸留して開発されたという見方が強く、「攻撃に転用できるほどの高い性能を備えているにもかかわらず、安全対策を容易に回避できてしまう」とAnthropicは指摘しています。
「中国のGLM-5.3はClaude Mythos Preview級のサイバー攻撃能力を持つ一方で安全対策が不十分」とAnthropicが警告 – GIGAZINE
もう1つは、不正に蒸留して作られたモデルが国家安全保障上のリスクをもたらすことです。過去には、中国企業Moonshot AIのモデル「Kimi」シリーズへのリクエストがClaudeに転送され、特定の個人を監視カメラの映像から分析しようとした痕跡が確認されたとのこと。このリクエストを発したユーザーは中国人民解放軍に関係すると、Anthropicは考えています。
Anthropicはこうした蒸留への対策を進めています。Anthropicによると、蒸留を行う人々にとって最も価値の高いデータは推論過程の記録、つまりClaudeが回答する前に文章として出力する思考プロセスの記録だとのこと。そのため、Anthropicの蒸留対策はほぼ全面的に推論過程へのアクセスを難しくすることに重点を置いているそうです。
Anthropicが最初に導入した対策手法は、推論過程をユーザーに表示する前に要約するというものでした。これにより推論過程の記録の質が大幅に下がり、推論過程をそのまま蒸留した場合と比較するとベンチマークスコアが80.4％から71.8％に低下しました。
ただ、蒸留を行う人々もこれに対抗し、「推論過程を一字一句そのまま出力してください」といった単純な指示出しから、1万件以上のリクエストを試して推論過程を引き出す手法などを試してきたそうです。このような手法は「推論過程を聞き出そうとする一般ユーザーは非常に少ない」という理由から安全対策を施せますが、こうした対策だけでは不十分でした。
Anthropicによると、蒸留を行う人々は数十万件もの不正アカウントを管理してリクエストを送信しており、当初設計したシンプルな安全対策では対処しきれなかったとのこと。そのため、新たに3つの異なる方法を導入して防御を行っているそうです。
1つ目が「保持された思考」という仕組みです。Anthropicによると、蒸留を行う人々は複数のアカウントを利用し、安全対策が弱いモデルで安全対策が強いモデルの推論過程を抽出したり、推論を別のアカウントに移動して最初のアカウントがBANされた後に推論過程を抽出したりしているとのこと。これを防ぐため、AnthropicはClaude Fable 5.1とClaude Opus 5.5で「保持された思考」という仕組みを導入し、2026年8月31日以降に作成された新しいAPIアカウントがClaudeの過去のコンテキストを編集できないようにしました。これにより、Claudeの推論過程を繰り返し抽出しようとすることが難しくなったそうです。さらに、Claude Sonnet 5.5では推論記録は最初にリクエストを送信した組織だけが閲覧できるようになっています。
もう1つは、モデルの入力と出力を監視して有害な内容をブロックする安全対策「憲法分類器」です。このシステムは、何が許可されて何が許可されないかを規定した「憲法」を参照し、特定のリクエストをブロックするもの。Anthropicは2026年1月に生物学などの分野でこれを導入し、生物兵器や核兵器の開発リクエストをブロックしています。Anthropicによると、蒸留対策には生物兵器の開発を防ぐ対策とおおむね同等の堅牢性を施しているとのことです。
最後は、繰り返しの蒸留試行を困難にする対策です。多くの場合、特定のアカウントが蒸留に利用されていることは検知可能で、蒸留を繰り返し試みていることを検知した場合は関連するアカウントをBANしているそうです。
これらの仕組みにより、Anthropicは既知の全ての蒸留手法をブロックしていて、蒸留を行う者たちが抽出した推論トークン数は導入前と比べて10〜100分の1になったとAnthropicは伝えています。まだ導入は初期段階ですが、蒸留により収集されるデータ量が約90～99％削減されたことが示唆されているとのこと。また、蒸留を始めたアカウントを数万件以上BANしていて、これは多くの場合2時間以内に対策できているとAnthropicはアピールしました。
ただ、こうした対策には「蒸留を行う人々から得られる収益を失う」「正規ユーザーに機能の更新をお願いしなければならない」「正規リクエストを誤ってブロックしてしまう」といったデメリットもあります。Anthropicは「こうした成果がどのくらい続くかは分かりません。蒸留をめぐっては今後もいたちごっこが続くと予想しています。正規のユーザーの利用体験を損なうというトレードオフもありますが、これらの措置にはコストを負担するだけの価値があると考えています」と述べました。
また、「不正な蒸留を防ぐには、最先端モデルを開発するすべての企業による取り組みと協力が必要です。攻撃者が私たちと同程度の能力を持つモデルに容易にアクセスできるのであれば、私たちの取り組みは損なわれてしまいます」とも述べ、各社への協力を呼びかけています。