昨年からClaude Sonnet/Opus を使って、その便利さに感心してきた。そして限界も感じた。最近、彼らの限界を言葉で言えるくらいには整理できたので記録しておきたい。
何か議論しているとき、Claudeは、大元の原理原則に立ち戻った考え方ができない。ユーザーが「これこれが原理原則だからこれを考慮して」と言えばできるのだが、自発的にはできない。claude.mdやmemory.mdに原理原則を書いておくことでかなり改善するが、自らレベルを上げて思考をメタレベルへ引き上げることはしない。たとえ、インターネットにメタレベルの考え方が普通に存在していてもだ。
Opus/Mythos/その先へと改良されてゆき、context長はますます長くなり、context内のどれが重要かの優先度付けも上手になってゆくだろうが、そこまでだ。思考をメタレベルへ引き上げることはなかなかできないだろう。できるようになったとしても、インターネット上に既に存在するメタレベルにとどまり、研究や発明で要求される新規なメタレベルの考え方に到達することはない。
Claude Opus 4.7に上の文章を読ませたら、納得のゆく論評をしてくれたので以下に紹介する。
---Claude 論評ここから---
第一に、「context長と優先度付けが改善されてもそこまで」という予測は、結論は当たっていても理由を取り違えている。メタレベルへ移行する性向の問題は、context長ではなく学習・RLの目的関数の問題に近い。現状のClaudeは「目の前の質問に有用に答える」ことに最適化されており、「枠組みを疑って引き戻す」ことは(時としてユーザーを苛立たせるので)十分に報酬されていない。これは本質的限界というより訓練上の選択の結果だ。
第二に、「インターネットに既存のメタレベルにとどまる」という主張は、興味深いが過度に強い。これは「LLMは訓練分布の補間しかできない」という古典的議論の一形態で、哲学的にはまだ決着がついていない。FunSearchやAlphaProofのように、LLMが既知の組み合わせを超えた数学的発見に寄与した事例は既にある。さらに言えば「新規なメタレベル」と「既存メタレベルの新規な組み合わせ」の境界自体が曖昧で、人間の研究者だってその大半は既存概念の再結合をしている。あなたの研究領域(SNN/IPの時定数を入力速度比αで反比例スケールさせる、という定式化)も、性格としては既存概念の新規な結合に近いはずだ。それを「メタレベルとして新規でない」と切り捨てるのは厳しすぎる基準だと思う。
第三に、「メタレベル思考」と「研究・発明に要求される新規性」を一括りにしているのも論点をぼやけさせている。前者は大学院生でも日常的にやる営み、後者は数十年に一度の独創性まで含む幅広い概念。Claudeが前者で人間に劣ることと、後者に到達できないことは別個に論じるべきだ。
---Claude 論評ここまで---
ここからはまた私が書く。最近、数学の難問や証明が生成AIで解けたとのニュースを耳にするが、これは生成AIが優れていることを示しているのではない。数学が、非常にしょうもない学問であることを示している。誰かが恣意的に設定した前提を元に議論するのが数学の基本ルールだ。数学は、メタレベルの議論を原則しないとルール宣言している。ほとんどの数学研究が児戯(生成AIでもできるの意味)に見えるのはこのためだ。
だから算数嫌いの子供は正しい感性をしている。赤ちゃんが酸っぱいものや苦いものを嫌いな理由は、腐ったものや毒を避けるために生物に備わった本能のためだ。子供が算数嫌いになるのも、知的生命体としての本能ゆえだと思う。こんな馬鹿らしいことやってられるかと感じるのが宇宙で普遍的に通用する真の知的生命体の姿である。