金融サービスでエージェンティック AI をデプロイするには、AI 固有のリスクに対処する追加のセキュリティ統制が必要です。この記事では、AI システムの説明可能性と説明責任を維持するうえで重要な 2 つの機能として、包括的なオブザーバビリティときめ細かなアクセス制御を取り上げます。7 つの設計原則と、安全な AI ソリューションをデプロイしながら規制要件を満たすための実装ガイダンスを紹介します。
金融機関は、こうした状況の中で 2 つの課題に直面しています。米国の SR 11-7、英国の SS1/23、EU の欧州中央銀行 (ECB) のガイドラインなど、進化し続ける規制環境に準拠する必要があります。同時に、エージェンティック AI がもたらす固有のセキュリティ上の考慮事項にも対処しなければなりません。従来のソフトウェアシステムとは異なり、エージェンティック AI は自律的に意思決定を行い、顧客、業務、組織の評判に影響を及ぼしうるアクションを実行できます。この自律性があるため、従来の統制にとどまらないセキュリティアプローチが求められます。
ISO 27001 や NIST Cybersecurity Framework などの確立されたフレームワークに準拠している組織は強固な基盤を備えていますが、エージェンティック AI 固有のリスクに対処するには、AI 固有のセキュリティ対策を追加する必要があります。エージェンティック AI を活用するには、こうした従来の統制を AI 固有のセキュリティ対策で補強することが欠かせません。AI システムの非決定的な性質、高い自律性を持って行動する能力、マルチエージェント間の相互作用の複雑さは、新たな次元のリスクをもたらすため、慎重に管理する必要があります。
金融サービスで効果的なモデルリスク管理を行うには、明確な説明可能性と説明責任が必要です。AI エージェントが組織に代わって意思決定を行ったりアクションを実行したりする場合、何が行われたのか、なぜ行われたのか、誰が、あるいは何が責任を負うのかを明確に把握できなければなりません。この透明性は、信頼の維持や規制上の義務の履行に役立つだけでなく、AWS の責任ある AI のプラクティスに沿って AI を責任ある形でデプロイするうえでも役立ちます。
この記事では、金融サービスでエージェンティック AI を実装する際のセキュリティ原則を説明します。特に、エージェンティックワークフローの包括的なオブザーバビリティと、エージェントのツールアクセス権限のきめ細かな制御という 2 つの重要な要素に焦点を当てます。これらの機能を組み合わせることで、説明可能性の基盤が整い、説明責任を果たしやすい統制環境を構築できます。
この記事は 2 部構成です。まず、7 つの中核的な設計原則を説明します。これらの原則には 2 つの目的があります。1 つは AI システムを設計するソリューションアーキテクトの指針となること、もう 1 つはリスク管理チームが重要なリスク要因を特定するためのフレームワークとなることです。次に、金融業界で安全かつコンプライアンス要件を満たす AI ソリューションをデプロイするための、実践的な知見を含む詳細な実装ガイダンスを紹介します。お客様の状況に応じた具体的な要件については、コンプライアンスチームや法務チームに相談して判断してください。規制要件は最低限の基準を定めるものであり、評判リスクや顧客への潜在的な損害など組織としてのリスクを考慮すると、追加の統制が必要になることも少なくありません。
エージェンティック AI のオブザーバビリティとツールアクセス制御に関する中核的な設計原則
このセクションでは、金融サービスにおけるエージェンティック AI システムの主要な設計原則を説明します。これらの原則は、安全な AI の実装に求められる、オブザーバビリティとアクセス制御に関する基本的な要件に対処するのに役立ちます。具体的なコンプライアンス要件は法域やユースケースによって異なりますが、これらの設計原則は、安全でガバナンスを確保できる AI システムの基盤となります。
人間と AI のセキュリティ相同性 (人間向けの統制を AI エージェントにも対応させて適用する考え方)
人間に適用している統制を把握し、それがエージェントやエージェンティックワークフローに適用できるかを判断したうえで、エージェントのペルソナを文書化します。従来のロールベースおよび属性ベースの権限に加えて、エージェントのアイデンティティ、ログ記録、行動監視を実装します。重要なアクションには (エージェントまたは人間による) 監督を必ず設け、ワークフローにおけるエージェントの範囲を定義します。また、変更管理とインシデント管理、アクションとツール使用に関するエージェントの職務分離、作成者と承認者による二重チェック (maker-checker 検証)、ログ記録、行動監視も検討します。
モジュール型のエージェントワークフローアーキテクチャ
ワークフローでは、特定の役割に特化したサブエージェントを使用します。きめ細かな権限を付与してサブエージェントの対象範囲を絞り込むことで、各エージェントに必要な権限の範囲を縮小できます。これにより、モジュール性と再利用性が高まり、メンテナンスが簡素化され、オブザーバビリティ、ひいては説明可能性が強化されます。
ワークフローとエージェントのログ記録とトレース
包括的なログ記録とトレースを実装し、意思決定、アクション、アクティビティワークフロー、呼び出し元固有のコンテキスト、推論ステップを追跡することで、説明可能性を高めます。AI システムの説明可能性に加えて、エージェント間の相互作用、コンテキスト共有、創発的な動作を監視することで、マルチエージェントワークフローの運用とダイナミクスを全体的に把握できるオブザーバビリティが実現します。
AI の職務分離と最小権限
AI エージェントの運用上の境界を明確に定義し、自動化されたワークフローで最小権限と職務分離を徹底します。この境界は、認可制御で裏付けたうえで、呼び出し元の権限に紐付けてコンテキストに基づく検証に対応させ、さらに人間による監督などのサーキットブレーカーで補完する必要があります。このアプローチにより、必要に応じて人間が介入できる状態を保ちながら、エージェントを適切な制限と境界の範囲内で動作させ、自動化とセキュリティおよび統制のバランスを取ることができます。
ガバナンスの統合
確立されたリスク管理およびコンプライアンスのプロセスと整合させながら、エージェントのオブザーバビリティを既存のガバナンスフレームワークに統合します。併せて、エージェントのパフォーマンス、コンプライアンス、ビジネス価値との整合性を測定する、標準化された評価フレームワークとテストハーネスを実装します。
エージェンティック AI の運用統制
エージェントの行動ポリシーを定義および管理するための、ビジネス部門にとって使いやすいガードレールを提供します。同時に、個々のエージェントとワークフローの両方のレベルでリソース使用率を監視および最適化し、包括的なコスト管理を維持します。このアプローチにより、ビジネスユーザー自身がエージェントの制約を管理できるようになります。
リスク管理とコンプライアンス
包括的なアクティビティのトレース (「ワークフローとエージェントのログ記録とトレース」を参照) を既存のガバナンスフレームワークと統合し、監査要件や規制コンプライアンスに対応するとともに、確立されたリスク管理プロセスと整合させます。このアプローチは、組織の既存のガバナンス構造の中で、すべてのエージェントアクティビティに対する徹底した監督とコンプライアンスの確保に役立ちます。
以降のセクションでは、前述の 7 つの中核的な設計原則を実際に適用するための、具体的な実装ガイダンスと推奨事項を紹介します。これらのガイドラインを活用することで、ソリューションアーキテクトは AWS 上で安全な AI エージェントシステムを設計およびデプロイできます。ここでの目的は、網羅的な技術ソリューションを提供することではなく、実装の指針を示すことです。エンタープライズのお客様は、担当の AWS Solutions Architect と緊密に連携し、自社のアーキテクチャに合わせた詳細な実装プラクティスを検討および策定することをお勧めします。
AI エージェントの動作を監視して理解する
以下のガイダンスは、前のセクションで説明した「人間と AI のセキュリティ相同性」および「ワークフローとエージェントのログ記録とトレース」の原則に沿ったものです。
エージェントワークフローのエンドツーエンドの可視性を確保する
エージェントのワークフローとペルソナを文書化し、入力、推論ステップ、出力、ツールの使用状況を記録する包括的なトレースをエージェントワークフローに実装します。Amazon Bedrock AgentCore Observability は、本番環境でエージェントのパフォーマンスをトレース、デバッグ、監視し、問題を特定するための専用ソリューションを提供します。この可視性により、エージェントが重要な金融システムやデータとどのようにやり取りしているかを理解するためのデータが得られます。可視性を高めるためにエージェントのタグ付け戦略を実装し、エージェントの想定ユースケースがわかるロール名を付けます。また、これらのタグを下流側のエージェント権限や上流側のワークフローで使用することも想定しておきます。
エージェントのアクティビティダッシュボードを構築する
例えば Amazon CloudWatch を使用して、エージェントの運用状態を把握できる運用ダッシュボードをデプロイします。ダッシュボードでは、正常完了、失敗、レイテンシー、リソース使用率などの主要なメトリクスを追跡します。
エージェントのテレメトリを既存の監視システムと統合する
OpenTelemetry (OTel) などの共通標準を AWS Distro for OpenTelemetry で活用し、エージェントのテレメトリを既存の監視インフラストラクチャと統合します。共通標準を使用することで、金融機関はこれまでの監視ツールへの投資を生かしながら、エージェントのアクティビティまで可視性を広げることができます。
エージェントのサーバー側 (ツール側) のチェックを確立する
ツールを使用するエージェントに標準化されたアクセス制御を実装し、ツール統合に関する AWS のセキュリティのベストプラクティスに従って一貫した統制を適用します。ツールを使用する時点で入力の検証とサニタイズを行い、ユーザーからエージェントへのやり取りとエージェント間のやり取りの両方で、意図しない動作を検出できるようにします。
エージェンティック AI 環境の変更を管理する
以下のガイダンスは、「ガバナンスの統合」および「エージェンティック AI の運用統制」の原則に沿ったものです。
AI エージェントワークフローに合わせて変更管理を適応させる
適切な統制を維持しつつ、AI エージェントの動的な性質に対応できるよう、現在の変更管理プロセスを見直します。エージェントのデプロイパイプラインに組み込まれた承認プロセスを確認し、小さな改善を積み重ねる反復的な進め方に合わせて承認プロセスを適応させます。また、エージェンティック AI の運用に、人間が介入するための中断ポイント (ヒューマンインザループ) を組み込みます。
エージェントの動作のドリフトを監視する
テストハーネスに取り込んだエージェントのトレースを Amazon CloudWatch や AWS X-Ray などのツールで継続的に監視し、実行のドリフトや予期しない学習の兆候となるエージェントの動作パターンの変化を検出します。これは、特定の運用上の境界を定める場合がある規制要件へのコンプライアンスを維持するうえで特に重要です。
AI エージェントに最小権限の原則を実装する
以下のガイダンスは、「人間と AI のセキュリティ相同性」および「AI の職務分離と最小権限」の原則に沿ったものです。
エージェントのアクションに対してきめ細かな権限の境界を定義する
Amazon Bedrock AgentCore Policy などを使用してきめ細かな権限制御を実装し、権限をエージェントの機能に必要な範囲に限定します。意図しないアクションの影響範囲を縮小するため、エージェント間で機能とツールへのアクセス権限を分離し、職務分離を実現することを検討します。ユーザーのプロンプトを起点とするエージェントのアクションと、エージェント間のアクションを区別して識別できるようにします。
認可の監視を実装する
エージェントの認可パターンを継続的に監視し、異常なアクセス試行を検出してフラグを付けるオブザーバビリティツール (Amazon Bedrock AgentCore Observability など) をデプロイします。
エージェントのアクションの監査証跡を確立する
本番システムや機密データに影響を与えるエージェントのアクションについて、包括的な監査証跡を維持します。監査証跡は変更不可能な形で保持し、既存のコンプライアンスレポートシステムと統合する必要があります。これは、エージェント間のアクションと、リクエストの発生元およびリネージ (系譜) を確実に保持できるようにするためです。
AI エージェントにガードレールと行動統制を実装する
以下のガイダンスは、「エージェンティック AI の運用統制」および「リスク管理とコンプライアンス」の原則に沿ったものです。統制の実装には、小さく始めて段階的に拡大する (crawl, walk, run) アプローチをお勧めします。必要最小限の統制から始め、監視から得られるフィードバックを基に段階的に発展させていきます。
ポリシーの設定機能を導入する
エージェントの行動ポリシーとコンプライアンスルールを定義するための、使いやすいインターフェイスを実装します。このようなインターフェイスがあれば、リスクチームやコンプライアンスチームは、技術者の手を借りずにエージェントのガードレールを直接管理できます。
リアルタイムのガードレール適用を有効にする
定義済みのポリシーに照らしてエージェントのアクションをリアルタイムで検証する自動化システムをデプロイします。例えば、Amazon Bedrock Guardrails を使用して、エージェントの出力が本番システムに到達する前に、コンテンツフィルタリング、個人を特定できる情報 (PII) の検出、レスポンスの検証を行います。
人間による監督のワークフローを確立する
エージェントの重要なアクションに対するコントロールポイントとして、明確なエスカレーションパスを備えたレビューワークフローを実装します。人間によるレビューのトリガーを定義し、継続的な改善のためのフィードバック収集の仕組みを維持します。
AI エージェントの障害を検出して復旧する
以下のガイダンスは、「ワークフローとエージェントのログ記録とトレース」および「リスク管理とコンプライアンス」の原則に沿ったものです。
エージェントのヘルスとパフォーマンスの監視を実装する
完全な障害とパフォーマンスの低下の両方を検出できる、AI エージェントの包括的なヘルスとパフォーマンスの監視をデプロイします。Amazon Bedrock AgentCore Observability は、従来のアプリケーションメトリクスだけではわからないエージェントのヘルスを把握するための専用機能を提供します。
エージェントの障害復旧手順を確立する
従来のデプロイパイプラインと同様に、エージェントの障害の種類ごとに、自動復旧手順と手動での動作修正手順を策定してテストします。これらの手順には、適切なサーキットブレーカーと、判断が必要なシナリオで人間にエスカレーションするためのパスを含める必要があります。
推論品質の低下を監視する
従来の障害アラートでは検知できない可能性がある、エージェントの推論品質のわずかな低下を監視する仕組みを実装します。
環境間で一貫したエージェントのパフォーマンスを確保する
以下のガイダンスは、「ワークフローとエージェントのログ記録とトレース」、「エージェンティック AI の運用統制」、「リスク管理とコンプライアンス」の原則に沿ったものです。
パフォーマンスベースラインを備えたモジュール型エージェントを実装する
モジュール型で再利用可能なエージェントを実装し、開発、テスト、本番の各環境でエージェントの運用に関するパフォーマンスベースラインを確立します。環境固有の問題の兆候となる逸脱を監視します。
エージェントの動作監視とレジリエンステストのためにカナリアテストを導入する
エージェントの変更に対して小規模なリリーステストを実施し、包括的なオブザーバビリティによって、本格的なデプロイの前と実行時の両方で予期しない動作の変化を検出します。有効な入力から期待どおりの出力が得られることを確認するポジティブテストと、不適切な入力でも望ましい出力が得られることを確認するネガティブテストを使用します。さまざまな障害条件下でエージェントのレジリエンスをテストします。カナリアテストにも変更管理を適用し、テストの拡大と成熟に合わせて経時的に追跡できるようにします。
マルチエージェントワークフローの相互作用を管理する
以下のガイダンスは、「モジュール型のエージェントワークフローアーキテクチャ」および「ワークフローとエージェントのログ記録とトレース」の原則に沿ったものです。
エージェントのコラボレーションパターンを監視する
事前定義されたワークフローと動的なワークフローの両方で、エージェント間の通信、コンテキスト共有、集団的な動作を監視する仕組みを実装します。相互作用のパターンを追跡して、潜在的なリスクや非効率な点を特定します。
創発的な動作を検出する
動作トレーステストを導入して、マルチエージェント間の相互作用から生じる予期しないパターンや結果を特定します。通常の協調動作のベースラインを確立して逸脱時にアラートを発するようにし、極端なシナリオもテストに含めます。
相互作用の監査証跡を維持する
コンテキストの交換、ハンドオフ、出力など、エージェントの相互作用について、否認防止性を備えた包括的なログを記録します。エージェント間のアクションと、リクエストの発生元およびリネージを確実に保持する必要があります。
AI エージェントのリソース使用率とコストを最適化する
以下のガイダンスは、「エージェンティック AI の運用統制」の原則に沿ったものです。
エージェントのリソース消費状況とコストの監視を実装する
例えば Amazon CloudWatch を使用して、コンピューティング、メモリ、API の使用状況、コストなど、エージェントのリソース消費パターンを監視する仕組みをデプロイします。これにより、リソース割り当ての最適化とコスト管理が可能になります。
エージェントのパフォーマンスメトリクスを確立する
推論ステップの効率、ツールの使用パターン、完了時間など、エージェントの運用に固有の主要なパフォーマンス指標を定義して監視します。
エージェントのパフォーマンスの異常検出を実装する
エージェントのパフォーマンスメトリクスに異常検出を適用し、ビジネス運用に影響が及ぶ前に潜在的な問題を特定します。
金融サービスでエージェンティック AI を導入するには、イノベーションと統制のバランスを慎重に取る必要があります。この記事で説明した 7 つの中核的な設計原則は、既存のセキュリティおよびコンプライアンスの要件に沿った、説明可能でガバナンスを確保できる、全体として責任ある AI システムを実装するためのフレームワークとなります。堅牢なアクセス制御、ロールベースおよび属性ベースの権限、包括的な監視を通じて、人間の従業員と同じ厳格さで AI エージェントのセキュリティを管理することで、組織は主要な規制フレームワークへのコンプライアンスを維持しながら、これらのシステムを安全にデプロイできます。
AWS が提供する専用ソリューションは技術的な基盤となりますが、成功させるには明確なポリシーと人間による監督の仕組みも欠かせません。こうした基本的なセキュリティとガバナンスの機能を確立した金融機関は、エージェンティック AI を活用しつつ、自社システムのセキュリティ、説明可能性、業界標準へのコンプライアンスを高めていくうえで有利な立場に立てるでしょう。
この記事に関するご質問は、AWS Security, Identity, & Compliance re:Post で新しいスレッドを開始するか、AWS サポートにお問い合わせください。