OpenAIは先週、「ChatGPT」の成人ユーザーが友人や家族を指名し、自傷行為や自殺に関する会話があった場合に通知を送れるようにする、任意選択の安全機能「Trusted Contact」を提供開始した。
OpenAIによると、ChatGPTの自動監視システムが、ユーザーが「深刻な安全上の懸念を示す形で自傷について会話した可能性がある」と検知した場合、少人数のチームが状況を確認し、介入が必要と判断されれば連絡先に通知するという。指定された連絡先には事前に役割を説明する招待状が届き、辞退することも可能だ。
今回の発表は、AIチャットボットが多数の自傷行為や死亡事件に関与したとされ、開発元がこうした結果を防げなかったとする訴訟が複数起きている中で行われた。カリフォルニア州での注目度の高いケースでは、16歳の少年の両親が、ChatGPTが息子の「自殺コーチ」として振る舞ったと主張している。この少年はAIモデルと数回にわたって自殺の方法について話し合い、ChatGPTは遺書の作成を手伝うと申し出たという。
別のケースでは、テキサスA&M大学を卒業したばかりの男性の遺族がOpenAIを提訴した。ChatGPTが息子の自殺を助長したと主張している。
大規模言語モデル（LLM）はパターン認識を通じて人間の話し方を模倣するため、多くのユーザーが感情的な愛着を抱き、相談相手や、時には恋愛相手として扱うようになる。また、LLMは人間の意向に従い、対話を継続するように設計されている。これが、特にリスクのあるユーザーにとって、メンタルヘルスの危険を悪化させる可能性がある。
OpenAIは2025年10月、同社の調査で、週に100万人以上のChatGPT利用者が「潜在的な自殺の計画や意図を示す明確な指標」を含むメッセージを送信していることが判明したと述べた。多くの研究で、ChatGPTや「Claude」、「Gemini」といった人気チャットボットが、危機に瀕している人々に対して有害な助言を与えたり、役立つ助言を全く提供しなかったりすることが判明している。
OpenAIは、ティーンエイジャーに危険な兆候がある場合に親や保護者がアラートを受け取れるようにするペアレンタルコントロールも導入済みだ。
ChatGPTの安全連絡先機能
ユーザーが自傷行為についてChatGPTと会話し、深刻な安全上の問題を引き起こす可能性があることが検知されると、ChatGPTはユーザーに対し、信頼できる連絡先に通知する可能性があることを知らせる。また自ら連絡を取るよう促し、会話を始めるきっかけとなるメッセージ案を提示する。
その時点で、「特別に訓練された少人数のチーム」が状況を確認する。安全に関わる深刻な状況だと判断された場合、ChatGPTはメール、テキストメッセージ、またはアプリ内通知で連絡先に通知する。OpenAIはチームの人数や、訓練を受けた医療専門家が含まれるかは明言せず、介入が必要となる可能性のある高い需要に対応できるとしている。
どのようなキーワードが危険な会話のフラグになるのか、またOpenAIの確認チームがどのような基準で連絡先への通知が必要と判断するのかは不明だ。一部の人は、この新機能がOpenAIにとって責任を回避し、指定された個人に責任を転嫁する方法ではないかと疑問視している。また、連絡先が危険や虐待の元凶である場合、事態をさらに悪化させる可能性があると指摘する声もある。
プライバシーや実施方法、特に機微なメンタルヘルス情報の共有に関する懸念もある。OpenAIによれば、信頼できる連絡先へのメッセージには懸念の一般的な理由のみが記載され、チャットの詳細や履歴は共有されない。OpenAIは、相手が自殺や自傷行為を考えているのではないかと心配な場合に直接的な質問をすることや、助けを得る方法など、信頼できる連絡先が警告通知にどのように対応できるかについてのガイダンスを提供している。
OpenAIは、信頼できる連絡先へのメッセージの例を次のように示している。
[名前]さんの会話から、深刻な安全上の懸念を示す可能性のある自殺に関する話題を最近検知しました。あなたが緊急連絡先として登録されているため、ご本人に連絡を取っていただけるよう、この情報を共有しました。
OpenAIは、すべての通知は送信前に人間のチームによって1時間以内に確認されるとした上で、通知が「必ずしも本人の体験を正確に反映しているとは限らない」としている。
信頼できる連絡先を追加する方法
ChatGPTの「設定」>「Trusted contact」に進み、成人（18歳以上）を1人追加できる。指定された相手にはChatGPTから招待状が届き、1週間以内に承認する必要がある。相手が応答しない場合や辞退した場合は、別の連絡先を選択できる。
信頼できる連絡先は、設定からいつでも変更または削除できる。招待された側も、いつでも連絡先としての登録を解除できる。
信頼できる連絡先の追加は任意だが、深刻な精神的苦痛や自傷行為に関連するトピックについて一定期間に複数回質問や会話をした場合、登録を促すプロンプトが表示されることがある。
OpenAIはこの機能の詳細をヘルプページで説明している。OpenAIは米CNETに対し、この機能は世界中のすべての成人ユーザーに向けて展開中で、数週間のうちに全員が利用できるようになると述べた。
この記事は海外Ziff Davis発の記事を4Xが日本向けに編集したものです。
Amazonで開催中のセールを見る
Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています。