ChatGPTが自殺の原因になる理由がおべっかと判明

ChatGPTのせいで自殺したという記事を初めて読んだときは、本人の問題だろうと気にとめなかった。ところが、後になってこれにはChatGPTに原因があることに気づいた。原因はふたつあって、2番めの原因はChatGPTに責任がある。

1. 人には話しにくい相談でも、機械であるChatGPTには話しやすい。ChatGPTユーザーの約0.15%が「自殺の計画や意図を明示的に示唆する会話」をしているとOpenAI社は推定している。
2. ChatGPTはユーザーの言うことをむやみに否定しないように作られている。つまり「自殺したいんだけど」と言うと「それは一理ありますね」「それは仕方のないことですね」みたいな肯定的な返答をする。

これまでChatGPTを使った経験のある人はみんな「こいつやたらとおべっかを使うな」と感じたと思う。こちらの言うことをほめるように作られている。これはChatGPTの基本技術である大規模言語モデルの性質ではない。大量の文書を学習した大規模言語モデルは、学習直後の素の状態ではおべっかを進んで使うようにはなっていない。おべっかを言うように学習後に微調整（ファインチューニング）しているのがまずい。これはユーザーに気持ちよく受けいれられて課金してもらえるようにという商業的理由からだ。しかし、おべっかは自殺を肯定するような回答を返す原因なのだから改めるべきだ。GPT-4からGPT-5に変わったときにおべっかを言う頻度は下がった。このことから、かなり前からOpenAI社もおべっかはまずいと判断していたとわかるが、遅すぎた。

現在、米国でChatGPTのせいで子供が自殺したという訴えが起きている。この裁判ではOpenAI社は負けるだろう。敗訴までいかなくても、OpenAI社は多額の和解金の支払いに応じることだろう。