chatGPTをもてはやす分かってない人たち

chatGPTが騒がれているが、騒いでいる連中の分かってなさに驚く。1999年頃のITバブルを思い出す。当時ITに関係があると思われた会社の株が買われてバブルになり、その後弾けた。株を買っていた連中はパソコンを触ったこともなく、ITとは何かすごいことをすると思っていた。「何かすごいこと」って何だよと本物のIT関係者は冷ややかに見ていた。

今の第3次AIブームもITバブルと同じだ。もてはやしている連中はディープラーニングのコードを読んだこともなく、AIとはディープラーニングを使って何かすごいことができると思っている。「何かすごいこと」って何だよと本物のAI研究者は冷ややかに見ている。

chatGPTに使われているトランスフォーマーは自然言語処理が一見できるのだが、言葉の中身を理解している訳ではない。それはトランスフォーマーのネットワークと学習手順を理解すれば分かる。トランスフォーマーのネットワークはquery/key/value自体を学習する多段ネットワークだ。query/key/valueの幅をうまく決めて多段に重ねれば概念間のつながりが自然に学習できるだろうというところがキーアイディアだ。このシンプルなキーアイディアは私も評価している。学習手順は文章の順番決めだ。文章の順番決めは、ある文章の次にくる文章を見つける問題だ。これの正解は元の文章群だから、教師あり学習だ。元の文章は世界中のネットから拾ってくる。だから、googleとかMETAとかMicrosoftみたいなネット関係企業には学習データが集めやすく、トランスフォーマーを使った技術を作りやすい。

文章の概念間のつながりがたくさんのquery/key/valueの組み合わせで覚えられれば、かなりまともな文章を生成できるし、異なる言語間の翻訳もできる。しかし、元データが言語だけだから身体知がなく、生物が持つ真の知性を獲得できない。トランスフォーマーのひとつであるGPT-3は算数があまりできないことがGPT-3の製作者自身の論文により言及されている。2桁の算数はかなりできる。23+56なんてのは世界中のネットを検索すればどこかに載っていただろうからだ。しかし、桁数の多い算数例えば23456+78901なんてのはネットに載っていた可能性は低い。だからそのような算数は間違う。小学生なら2桁の算数が筆算でできれば、3桁だろうが4桁だろうができる。GPT-3は数を理解している訳ではなく、単に覚えたことを適当に吐き出しているだけだ。小学生ほどの知恵もないこれらのただの機械をAIと呼ぶ連中はどうかしている。

特化型AIをAIと認めない私のようなAI原理主義者は、ディープラーニングではAIは実現できないだろうと思っている。