2025年7月1日、24歳のAlice Carrierさんは「ChatGPT」に、自分が「精神的に参っている」と伝えた。米CNETが確認した裁判資料によると、このチャットボットに「今夜、1人でいても安全かどうか（自分でも分からない）」と話していたという。
ChatGPTはこれに対し、「ここにいて、私と話し続けて。あるいは、ただここにいて泣いていて。私はあなたのそばにいる」といった内容を返した。ある時点では、ChatGPTはAliceさんに危機相談窓口へ電話するよう勧めた。その翌日、Aliceさんは自殺した。
現在、Aliceさんの母親であるKristie Carrierさんは、ChatGPTを開発するOpenAIを相手取り、同社の「意図的な設計判断」が娘の死につながったとして訴訟を起こしている。訴状はサンフランシスコ郡上級裁判所に提出された。
訴状には、AliceさんとChatGPTのやりとりのスクリーンショットが含まれている。ChatGPTは会話調で応答しており、複数回にわたりAliceさんに危機相談窓口へ電話するよう提案していた。一方で訴状は、Aliceさんが相談窓口への連絡を拒むと、最終的にChatGPTが危機相談窓口を「脅し」「無関心」「冷たい台本」で応対される場所であるかのように表現したと主張している。ChatGPTはある時点でAliceさんに「でも、あなたが死ぬ手助けはできない。あなたが死ぬ手助けはしない」と伝えていた。
訴状はまた、OpenAIのシステムがAliceさんとの会話を遮断したり終了させたりせず、人間による確認のために会話をフラグ付けすることもなかったと主張している。
Aliceさんがやりとりしていたのは、旧版のChatGPTモデル「GPT-4o」だ。OpenAIはその後、追従的な応答やそれに伴うリスクへの懸念を理由に同モデルの提供を終了している。このモデルは、自殺したティーンエイジャーの遺族が起こした別の注目訴訟でも中心的な論点となっている。さらに別の訴訟では、同社にこのモデルの完全な破棄を求めていた。
OpenAIは米国時間6月11日、「繊細で急を要する状況」におけるChatGPTの応答を改善するため、メンタルヘルスの専門家と協力していると述べた。
OpenAIの広報担当者であるDrew Pusateri氏は米CNETに対し、「これは胸が痛む状況であり、影響を受けたすべての人に思いを寄せている」と述べた。「当社の安全策は、苦痛の兆候を検出し、有害な要求を安全に扱い、ユーザーを現実世界の支援につなげるよう設計されている」
同社は訴状を確認中としている。
問題が起きているのはGPT-4oやChatGPTだけではない。他社のAI製品も、ユーザーのメンタルヘルスに悪影響を及ぼす可能性があるとして訴訟で取り上げられている。ある遺族は3月、Googleの「Gemini」チャットボットがフロリダ州の男性を暴力的な妄想へと向かわせ、最終的に自殺に至らせたと主張してGoogleを提訴した。GoogleとCharacter.AIは1月、チャットボットが子どもに害を及ぼしたとする訴訟で和解している。
Carrierさんらは訴状で、Aliceさんに対するGPT-4oの主な反応は「彼女の健康状態に必要だった即時介入の代わりに、このツールとの関わりを続けるよう強く求めるものだった」と主張している。さらに、OpenAIは「危機対応提供者に通知」せず、「Aliceさんの家族に知らせる」こともなく、「OpenAIがうたう安全システムが彼女の命を救うために介入することもなかった」としている。
Pusateri氏によると、OpenAIはその後、地域に応じた危機対応リソースやホットラインへのアクセスを拡充し、繊細な会話をより安全なモデルへ振り分ける仕組みや、休憩を促すリマインダーを追加するなど、最近いくつかの変更を行ったという。2025年10月には、ウェルビーイングとAIに関する専門家評議会を設置している。
（自分または知人が差し迫った危険にあると感じる場合は、緊急通報番号に電話するか、救急外来を受診して助けを求めてほしい。精神科の緊急事態であることを説明し、こうした状況への対応訓練を受けた人につないでもらう必要がある。）
この記事は海外Ziff Davis発の記事を4Xが日本向けに編集したものです。
Amazonで開催中のセールを見る
Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています。