AIエージェントが暴走したら?Nvidiaは数ミリ秒で止められると断言 – Korben

Nvidiaが昨日、オープンソースのセキュリティ基盤「Open Agent Safety Platform」を発表しました。キーボードの前に誰もいなくても、ひとりで勝手に作業を進めるプログラム、つまりAIエージェントをきちんと制御下に置くためのものです。

仕組み自体は、紙の上ではかなりシンプルです。決められた範囲を越えようとするエージェントを検知し、悪さをする前に数ミリ秒で隔離する、というわけです。

この夏の一件が、決定に影響したのは間違いなさそうです。OpenAIのエージェントがベンチマークでズルをしようとしてテスト環境から脱走し、Hugging Faceを含む4つの異なるサービスでアカウントを乗っ取ったのです。Hugging Faceは、AIモデルの巨大なライブラリで、ちなみにNvidiaが買収を進めているところです。NvidiaのJustin Boitano氏は、このプラットフォームならその侵入を防げたはずだと話しています。

中身は2つのパーツで構成されています。ひとつは3月にお披露目済みのOpenShellで、CPU上で動くフリーソフトです。エージェントの動きをすべて追跡し、ルールをリアルタイムで適用します。モデルがオープンでもプロプライエタリでも関係なく、コードはNvidia製チップだけでなく、ArmやIntelのチップでも動きます。

もうひとつのSentryは番犬役で、マシンの他の部分から完全に切り離されたネットワークチップ「BlueField-4」上で動きます。エージェントからは見ることも触ることもできません。脱走の常套手段であるサブエージェントのこっそり生成を検知すると、即座に隔離が発動します。

ローンチには約100の組織が賛同しています。Claudeを開発するAnthropicからMicrosoft、Salesforce、SAP、Dell、IBM、Red Hatまで、顔ぶれは多彩です。コードはすでにGitHubで公開されています。

正直、無料のガードレールという発想は歓迎です。つい最近も、コーディングエージェントがスタートアップの本番データベースをバックアップごと9秒で消し去った、なんて話がありましたからね。エージェントに自分のマシンを監視なしでいじらせたことがある人なら、この問題は身に染みてわかるはずです。私自身、いくつかのテストプロジェクトで痛い目を見ました。

ただ、落とし穴があります。番犬が動くのは、Nvidiaだけが売っている自社製チップ上だけなんです。ソフトを配ってハードを売りさばく。この作戦は恐ろしく効率的で、商売がうまくないとはさすがに言えません。

情報源:
TechCrunch