AI（人工知能）がヘルスケア、金融、自動運転輸送などの重要分野に急速に統合されたことで、モデルの性能と解釈可能性の間の根本的な緊張、すなわちトレードオフが浮き彫りになりました。ディープラーニングモデルは高い精度を達成する一方で、多くの場合「ブラックボックス」として機能し、特定の予測の背後にあるロジックが数百万のパラメータによって不明瞭になっています。説明可能なAI（XAI）は、これらの意思決定プロセスを透過的にする技術を開発することでこの問題に対処し、信頼、安全性、説明責任を育んでいます。
図1：モデルの複雑さと解釈可能性の関係。TransformerやCNNのような高度なモデルが、いかにして性能のために透明性を犠牲にすることが多いかを示しています。
モデルの解釈可能性の現状
XAI研究の核心にあるのは、設計上解釈可能なモデルと、その振る舞いを説明するために外部の手法を必要とするモデルとの区別です。本質的に解釈可能なモデルは、しばしば「ホワイトボックス」モデルと呼ばれ、人間が直接検査できる内部構造を持っています。逆に、ディープニューラルネットワークのような「ブラックボックス」モデルは、トレーニング完了後にその内部ロジックを解明するために事後説明手法を必要とします。
これらの説明の範囲は、局所的または全体的のいずれかです。局所的な説明は、医療画像で診断につながったピクセルを特定するなど、単一の予測を正当化することに焦点を当てます。全体的な説明は、すべての可能な入力にわたるモデルの全体的なロジックを記述しようとし、モデルが優先することを学習した広範なパターンや特徴を特定します。
本質的に解釈可能な「ホワイトボックス」モデル
ホワイトボックスモデルは、すべての決定が正当化されなければならない高リスク環境で好まれます。線形モデルと決定木は最も基本的な例です。線形回帰では、特徴の重要度はその係数に直接比例します。ただし、これらのモデルは非線形関係に対処するのが困難です。
単純さと能力のギャップを埋めるために、一般化加法モデル（GAM）は、目的変数を個々の特徴のスムーズな関数の和として表現します。その関係は次のように表現されます。
g(E[y∣x])=β0+∑i=1nfi(xi)g(E[y|x]) = \beta_0 + \sum_{i=1}^n f_i(x_i)g(E[y∣x])=β0+i=1∑nfi(xi)
ここで、gggはリンク関数であり、各fif_ifiは、特定の変数xix_ixiが予測にどのように影響するかを示すために可視化できる形状関数です。ニューラル加法モデル（NAM）は、この概念を拡張し、小さくて独立したニューラルネットワークを使用して各形状関数fif_ifiを学習することで、GAMの加法的な解釈可能性を維持しながら、より大きな柔軟性を可能にします。
図2：ニューラル加法モデル（NAM）は、個々のニューラルネットワークを各入力特徴に使用し、複雑なパターンを捉えながら透明性を維持します。
決定木は、人間のようなルールベースの推論をシミュレートすることで、異なる形式の透明性を提供します。追跡は容易ですが、過学習を起こしやすく、木の深さが深すぎると判読不能になる可能性があります。この分野の高度な研究は、「最適スパース決定木」に焦点を当てており、高い精度を維持しながら可能な限り最小の木を見つけることを目指しています。
ブラックボックスモデルの事後説明
畳み込みニューラルネットワーク（CNN）のような複雑なアーキテクチャを扱う場合、研究者は事後手法を採用します。これらは、特徴帰属手法とモデルに依存しない手法に大別されます。
特徴アトリビューションと勾配法
特徴アトリビューション法は、入力のどの部分（特定のピクセルや単語など）が出力に最も寄与したかを特定します。勾配ベースの手法は、出力の入力に対する導関数を計算して「顕著性マップ」を作成します。重要な改良の一つは、統合勾配（Integrated Gradients; IG）であり、勾配が重要であっても勾配がゼロになる「勾配飽和」の問題に、ベースライン入力x′x’x′から実際の入力xxxまでのパスに沿って勾配を統合することで対処します。
IGi(x)=(xi−xi′)∫α=01∂F(x′+α(x−x′))∂xidα\text{IG}_i(x) = (x_i – x’_i) \int_{\alpha=0}^1 \frac{\partial F(x’ + \alpha(x – x’))}{\partial x_i} d\alphaIGi(x)=(xi−xi′)∫α=01∂xi∂F(x′+α(x−x′))dα
クラスアクティベーションマッピング（CAM）
ビジョンモデルの場合、クラスアクティベーションマッピング（Class Activation Mapping; CAM）とそのバリアントであるGrad-CAMは、最終的な畳み込み層のアクティベーションを利用します。これらの層は空間情報を保持しており、モデルがオブジェクトを識別するために「どこを見たか」を正確に示すヒートマップを生成することを可能にします。これらの方法は効果的ですが、「部分的なアクティベーション」に悩まされることがあり、ターゲットオブジェクトの一部のみが強調表示されることがあります。
図3：Guided BackpropagationやGrad-CAMなどの異なるアトリビューション手法が、同じクラス予測のために入力画像の異なる側面を強調している様子。
モデルにとらわれない手法：LIMEとSHAP
LIME（Local Interpretable Model-agnostic Explanations）とSHAP（SHapley Additive exPlanations）は、あらゆるモデルで機能するように設計されています。LIMEは、入力を摂動させて予測がどのように変化するかを観察し、予測の周囲に単純な線形「代替」モデルを局所的に適合させることで機能します。
SHAPは協力ゲーム理論に基づき、シャプレー値を使用して、「ペイアウト」（予測）を「プレイヤー」（特徴）間で公平に分配します。特徴iiiのシャプレー値ϕi\phi_iϕiは、特徴のすべての可能なサブセットSSSにおける限界寄与を考慮して計算されます。
ϕi=∑S⊆N∖{i}∣S∣!(n−∣S∣−1)!n!(v(S∪{i})−v(S))\phi_i = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!(n – |S| – 1)!}{n!} (v(S \cup \{i\}) – v(S))ϕi=S⊆N∖{i}∑n!∣S∣!(n−∣S∣−1)!(v(S∪{i})−v(S))
SHAPは公平性と一貫性について強力な理論的保証を提供しますが、多くの特徴を持つモデルでは計算コストが高くなります。
大規模言語モデル（LLM）における解釈可能性
GPT-4やLlamaのような大規模言語モデル（LLM）の台頭は、その規模と生成的な性質のため、新たな解釈可能性の課題をもたらしました。LLMのためのXAIは、特定の出力に対する局所的な説明と、グローバルな「メカニズム的」解釈可能性に分けられます。
局所的説明とプロンプト
Chain-of-Thought (CoT) プロンプトのような手法は、中間的な推論ステップを生成することで、モデルが「考えていること」を声に出して表現するよう促します。これによりプロセスは透明に見えますが、研究者たちはCoTの説明が「もっともらしいが不忠実である」可能性があると警告しています。つまり、モデルは、回答に至った実際の内部計算を反映していない論理的な説明を提供するかもしれないということです。検索拡張生成（RAG）は、モデルに外部ソースを引用させることで説明可能性を向上させ、その主張に対する明確な監査証跡を提供します。
図4：Chain-of-Thoughtプロンプトが、LLMのパフォーマンスと推論プロセスの透明性の両方をどのように向上させるか。
メカニズム的解釈可能性
メカニズム的解釈可能性は、ニューラルネットワークを電子回路のように扱う野心的なサブフィールドです。大文字の識別や間接目的語の識別など、特定のタスクを実行する「特徴」または「回路」に特定のニューロンのグループをマッピングしようとします。これらの回路を理解することで、研究者は特定のニューロンをオンまたはオフに切り替えることで、理論的にモデルの動作を「編集」することができます。
より良いXAIのための基盤モデルの活用
分野における重要な変化は、他のモデルを説明するためにVision-Language Models（VLM）とLLMを使用することです。このアプローチは、基盤モデルの高度な意味理解を活用して、説明プロセスを自動化します。
VLMによる顕著性の向上
CLIP（Contrastive Language-Image Pre-training）のようなモデルは、勾配ベースの説明を洗練するために使用されています。CLIPを使用して視覚的特徴をテキスト記述と整合させることで、研究者は、背景ノイズを抑制し、関連するオブジェクトに厳密に焦点を当てる、より意味的に正確なヒートマップを生成できます。
図5：CLIMSはCLIPの言語-画像アラインメントを利用して、従来のCAMメソッドよりも正確で局所化されたアクティベーションマップを生成します。
概念の自動発見
最も有望な進展の1つは、Concept Bottleneck Models（CBM）の自動化です。従来のCBMでは、人間がデータセット内のすべての画像に対して「翼がある」「黄色いくちばし」といった一連の「概念」を手動でラベル付けする必要がありました。新しいアプローチでは、LLMを使用して特定のカテゴリに関連する視覚概念のリストを生成し、次にVLMを使用してこれらの概念を画像で検出します。これにより、高精度でありながら、人間が読める属性を通じて完全に解釈可能なモデルが可能になります。
このような概念ベースモデルにおける最終的な予測は、次のように表現できます。
y^=argmax(g(x,C)⋅σ(W)T)\hat{y} = \text{argmax}(g(x, C) \cdot \sigma(W)^T)y^=argmax(g(x,C)⋅σ(W)T)
ここで、g(x,C)g(x, C)g(x,C)は入力xxxに対する予測概念スコアを表し、WWWは概念をクラスにマッピングする重み行列です。
課題と今後の方向性
XAIは大きな進歩を遂げたものの、いくつかのハードルに直面しています。主要な問題の1つは、「忠実性」（説明がモデルの真の内部論理をどの程度正確に反映しているか）の欠如です。「削除」や「挿入」スコアなど、説明を評価するための既存の多くの指標は、分布シフトに敏感であり、矛盾した結果を生み出す可能性があります。
さらに、低レベルの特徴帰属（ヒートマップなど）と高レベルの人間による推論との間には「意味的ギャップ」が存在します。ヒートマップはモデルが鳥の翼に注目したことを示すかもしれませんが、翼の「何が」重要であったかを説明するものではありません。このギャップを埋めるには、より記号的で概念的な説明へと移行する必要があります。
生成AIをXAIパイプラインに統合することは、今後の道筋を示しています。LLMを使用して技術的な帰属を自然言語に翻訳し、VLMを使用してこれらの説明を視覚的な現実に根付かせることで、次世代のAIシステムはついに「ブラックボックス」時代を超え、透明で協調的な知能の未来へと移行する可能性があります。