LLMが鉄道網を理解できないのはなぜか

東急の株主優待乗車証を使う時にいちばんお得な区間をOpenAIのgpt-ossに聞いてみた。新線ができて割高区間である新横浜までと返ってくると思っていたが、渋谷ー成田空港間という答が返ってきた。

びっくりして、今度は近鉄で同じことを聞いてみたら京都と奈良間という大嘘が返ってきた。切符の値段もでたらめだった。いったいこれはどういうことだろうか？

原因を調べたら、学習時のテキストに鉄道各社の路線データがないことが理由とわかった。路線データがテキスト形式でインターネットにアップされていることはほとんどない。そしてたとえアップされていたとしても、文章の次の単語を当てる形式の学習では、ある路線がどの鉄道会社に属しているか、ある駅がどの路線に属しているかを学習することはできない。LLMはwikipediaやニュースやブログなどのテキストからしか学べない。たとえばブログで渋谷駅から成田空港へ行ったという記事が多くあったとする。そして別のブログやニュースで「東急線渋谷駅」といった単語が多く出てきたとする。これらを使って確率的に次の単語を学習したLLMは汎化性能を発揮して、東急線で渋谷駅から成田空港駅まで行くことができると判断するのだ。連中にしてみればベストを尽くしている。この動作に文句を言う方が無粋というものだ。

将来のLLMは乗り換え案内サービスを利用することを覚えるだろう。これで切符の値段を間違うことはなくなる。しかし鉄道会社ごとの路線という概念を覚えるのはかなり先だと思うし、鉄道会社間で相互乗り入れしている路線においてどの路線がどの鉄道会社に属しているかわかるのはもっと先だろう。目黒と白金高輪の間はどの路線かなんて人間でも正しく答えられる人はあまりいないし。答は東京メトロ南北線と都営三田線が線路もプラットホームも構内も共用していて、同時にふたつの路線であり区別できないだ。シュレディンガーの猫みたいだ。