ローカルLLMの使いみちがない

GPUメモリ96GB+メインメモリ256GBのPCにGLM-5.3 flash の4ビット版を入れた話を以前した。ClaudeのFable5.1やOpus5.5には及ばないが、Sonnet5.5よりは賢い。ローカルLLMとして活用したいのだが、全然使えてない。使いみちがない。

 

入力するデータを秘密にしたい場合はローカルLLMが向いているが、私には秘密にしたいデータはない。自宅の監視カメラ映像を処理するようなタスクでも、私の場合は秘密にする必要がない。 仕事ではちょっとだけ秘密にしたいデータもあるが、Claude Teams の入力を学習に使わない仕様で十分足りる。

 

商用サービスの使用料金を節約するのにもローカルLLMは向いているが、私は料金の高いプランに2つ入っているので、使用量のリミットにひっかかるのは月に数回しかない。その場合でも追加料金を支払えばリミットは解除できる。

 

私の使用目的の99%は、リアルタイムのweb検索を必要とする。これがローカルLLMは弱い。ClaudeやChatGPTやgeminiのような商用サービス品質のweb検索を実装するためには、私のPCよりはるかに高性能のPCを用意しなければならない。しかも、まともに使えるweb検索ソフトウェアはまだ配布されていない。web検索がいちおうできますというソフトウェアはたくさん転がっているが、使ってみると私の使用目的には性能が不足する。 

 

という訳でローカルLLMが手元で走ってはいるものの、全く使っていない。何かよい使いみちを思いつくまではお蔵入りだ。 

 

その後、NVidia DGX spark が入手できた。これでもローカルLLMを走らせてみたがスピードの遅い共有GPUメモリを128GBしか積んでないので、推論マシンとしては前述のGV100搭載PCよりも低性能だった。CUDAを使った学習をするにはDGX Sparkは向いていると思うが、 私の場合H100x8の環境が別に使えるので学習用途としての出番もない。そのため、高性能のraspberry piのような使い方しか今はしてない。これももったいない。

Homo perspiciens

現人類 Homo sapiens の次の人類の名前を Homo perspiciens と命名する。今は解剖学的な差はあまりない。何万年も経つと差が出てくるかもしれない。Homo sapiens と Homo perspiciens との本質的な差は考える力の差だ。Homo perspiciens はAGIやASIを超える知的能力を持つ。

野良猫対策に木酢液を買う 生成AIはなぜか野良猫に優しい

母の代から長年戦っている野良猫に子供ができた。一匹のときは追い払えばしばらく来なかったのに、子供ができてからは追い払っても10分後には戻ってくる。屋根はあるし、天敵や車は来ないし、家の庭は子育てによいのだろう。おまえ一匹でも糞尿が迷惑なのに、おまえが死んだあともおまえの子供が引き続き居着くなんてことになったら最低だ。私の追い払いではもはや効果はない。猫よけトゲトゲは子猫のおもちゃになってしまった。これは木酢液なり柑橘類の皮なり猫の嫌うものを撒くしかないとあきらめた。これからは定期的に撒くことにした。

 

撒く前に面白い事件があった。親と子猫が来るのだが、猫の糞対策に伏せておいてある買い物かごが子猫のおもちゃになってしまった。その買い物かごをひっくり返した子猫が偶然閉じ込められた。私はいい気味だと思った。この子猫をどうしたらよいかgeminiに聞いたら「いい気味と思う気持ちはわかります。子猫の自爆は確かに痛快です。」と私の気分を良くしてくれた。中国製のGLM-5.3だったらもっと過激な意見をくれるかと思ったら、動物虐待になりかねないので逃がすようにという意見だった。お前ら猫を食ってるくせに、なんでそんなに優しいのかと思ったが、妻が「中国人が食べているのは犬だ」と訂正してくれた。geminiもいい気味とは言ってくれたが、その後はやはり逃がすようにとの意見だった。

 

ここで子猫がひどい目にあったと学習したら庭に来なくなるのではないかと期待した。脳の可塑性がまだ高い子猫ならありうるだろう。それをclaudeに聞いたら閉じ込められた子猫は、庭を忌避する学習の可能性が50％あるらしい。しかし脳の可塑性がなくなっている親猫には学習は効かないのだとか。また閉じ込められなかった他の子猫にも影響はないとのこと。残念だ。 

 

イノシシはイノシシ罠にかかると罠を警戒するようになる。また自分の子供や群れの仲間に罠のことを伝える。かなり利口だ。猫はひどい目にあってもいずれ忘れてしまうのだとか。イノシシよりバカだ。そういえば猫は3日で飼い主の恩を忘れると昔から言われている。昔っからバカなのだ。 

 

GLM-5.3もgeminiもclaudeも、野良猫に責任はなく、飼ってから捨てた飼い主と野良猫に餌をやっている人間の責任であると言う点では一致していた。だから野良猫を虐待しないようにとの意見だった。私は野良猫だろうが飼い猫だろうがペットに興味はない。ペットを可愛がる連中って、人間的な魅力がないから人間には相手にされず、それでペットに逃げているタイプが多い。その挙句に関係ない人に迷惑をかけている。そういう人間はバカ猫以下の存在だ。

 

件の子猫だが、claudeと相談して脱水症状になる前に逃がした。子猫の体長から推定すると生後2ヶ月だ。これだと半日は水を飲まなくても平気だが、私は2時間で買い物かごを持ち上げた。 子猫は脱兎のように駆け出して逃げていった。時速30kmくらいだった。この速度が出せるなら生後3ヶ月は経っていたかもしれない。私の家の庭が危険地帯だと学習したならよいが。claudeは楽観的な予想もしてくれた。逃げた子猫が母猫のところへ戻ったとき、パニック状態になっていたら、母猫は庭が子育てに向いてないと判断してやってこなくなるという予想だ。おいおい、猫はバカなんじゃなかったのか。あまり期待してないが母猫が学習してくれることを望む。

24インチ 1360x768 のディスプレイでご機嫌

NVIDIA DGX sparkは普段はヘッドレスで使っているが、出張で持ち出したときに部屋にあった24インチのテレビにHDMIでつないで使う機会を得た。テレビの解像度は1360x768で、めちゃくちゃ見やすい。これまでに使ってきた何十万円もするディスプレイはなんだったんだ。4Kディスプレイなど無駄だった。捨ててしまおう。

 

テレビは文字が大きくて見やすいのも良いのだが、速度が早いのがもっと良い。ゲーマーが気にするリフレッシュレートのことではない。単純に描画速度が早いのだ。私はネットワーク越しに何台ものPCをsshでシリアルに何段も通して使うことが多い。ターミナルで文字を表示するだけなら遅さは気にならないが、たまにリモートブラウザを使うことがあって、それは遅さが気になる。通信速度（スループット）が遅いのではなく、反応（レイテンシ）が遅い。マウスで掴んでウインドウを動かしてもワンテンポ遅れて動く。これは仕方がないと諦めていたのだが、24インチのテレビはこれが遅くない。なぜかを調べたら、解像度が1360x768だったからだ。画素をひとつひとつ送るVNCではなく圧縮するXPRAでつなげているのだが、それでも送る画面が小さい方が早いのだ。このレスポンスに慣れてしまうともう2Kや4Kのディスプレイには戻れない。

ContinuityCaptureAgent を止めてintel macの発熱を解消する

mac mini 2018 が爆熱なのをずっとがまんして使っていたが、やっと直すことができた。爆熱の原因はContinuityCaptureAgentプロセスが暴走することだった。このためにCPU温度はアイドル時でも100度になっていた。ContinuityCaptureAgentプロセスが何をしていたかというと、macのカメラとして使うための周囲のiPhoneやiPadを探し続けていた。mac使用者のapple IDに紐づけられているiPhone/iPadを全て探す。それらが周囲になければskipして終わる仕様のプログラムだが、bluetoothになんらかの変化があると再度探し始める。そしてbluetoothのなんらかの変化というのはなぜか常に起こっている。つまりmacを起動してからはシャットダウンするまでずっと探し続ける。私のmacでは毎秒3回探していた。1回あたりiPhoneとiPadを11台探す。11台と多いことが問題ではない。台数が少なければ毎秒のループ回数が増えるだけで、仕事は軽くはならない。

 

ContinuityCaptureAgentプロセスはmacOS 13から導入された。そのためmac mini 2018だけでなく、mac mini 2023でもmac mini 2025でも走っている。ところがCPUロードを30％も消費しているのはintel CPU搭載のmac mini 2018だけで、apple silicon CPU搭載の2023/2025ではCPUロードは1%未満だ。mac mini 2023/2025は熱くならない。これがCPUアーキテクチャのせいなのか、他の理由があるのかはわからない。

 

ContinuityCaptureAgentをkillしても、起動設定でdisableしても、すぐに復活してしまう。airdropやhandoffをオフにしても動き続ける。解決方法はbluetoothをオフにすることだけだ。これでContinuityCaptureAgentプロセスは起動しなくなり、CPU温度は100度から52度まで下がった。このことに気づくまで筐体がさわれなくなるほど熱い状態でmac mini 2018を5年間使い続けてしまった。マシンの寿命をずいぶん削ったことが悔やまれる。

新web serverの構築をclaudeに頼む

PHPを利用していたコンテンツの公開をやめて、今は静的HTMLだけの運用になっている。これだと編集しにくいので、なんらかのツールは使いたい。その辺りも含めて新サーバーの設計をclaudeにお願いした。

 

そしていちばん重要かつ面倒なのが、過去のコンテンツを新サーバーに移すことだ。以前のサイトはなんとかwikiを4つとwordpressとでサグラダファミリアみたいな作りになっていた。その5つのツールからコンテンツをサルベージして新サーバーに移すのもclaudeにお願いした。こんなのを人手でやっていたら疲れるだけで何も得るものがない。

 

新サーバーのマシンは手持ちのPCの中から消費電力の低いものを選んで使う。OSは新規に入れる。さて、どんなサイトができあがるだろうか。 

 

半日でできあがった。なんとhtmlファイルだけのサイトになった。PHPはおろか、動くものは何も使ってない。それなのに、これまでの動作は再現されている。おそるべしclaude code。 

ipv6のゆるいセキュリティのおかげでネットワークが快適に

ipv4のセキュリティはしっかりしているが、ipv6には穴があるというのは業界では常識だ。技術的に穴をふさぐことはできるが、放置されていることもある。

 

ここにセキュアなネットワーク機器がある。ipv4の接続はどうやっても無理だ。証明書や暗号鍵や発信元限定等で二重三重に防御されている。ところがipv6特にローカルリンクアドレス通信は無防備である。これを利用すると通信できる。通信が届くだけであって、突破できるのは発信元を限定している部分だけではある。証明書や暗号鍵は突破できない。

 

証明書や暗号鍵を持っている正規ユーザーならこのネットワーク機器を便利に使うことができる。機器がsshを受け付けるなら基本的になんでもできる。

 

機器をgatewayにして自分の使いやすいPCからネットワーク機器を経由してその先のデバイスにアクセスできる。 これは本当にありがたい。ストレスが8割方減った。その先にはH100とかB100とかのハイパフォーマンスの計算資源がたくさんあるのだ。時間によってはガラガラで、もったいないおばけが出る状態だった。手元のmacからこれらが使える。夢のような環境だ。計算し放題（キュー待ちがあるのでこれは言い過ぎ）だ。