ローカルLLM
ローカルLLMとは、おちつきAIラジオでは、自分のパソコンの中で動かす言語モデルのこととして語られているテーマである。しぶちょーは、SLM（小型モデル）をローカルで動かしたらローカルLLMとも言うし、とにかくローカルLLMというのは自分のパソコンの中で動かす言語モデルのことをそう言ったりすると話していた（該当箇所を聴く）。エピソード55「AI驚き屋もスルーする地味なスゴさ！SLMの魅力と、量子化・プルーニングなどの軽量化技術」で扱われた。
概要
しぶちょーは、ちょうどCPUの話をした流れで、SLMの何がいいかと言ったら、ちっちゃいからローカルで動かせるところだと語っていた（該当箇所を聴く）。本来はインターネット経由で自分のChatGPTなどのAPIを叩きに行かなければならないところを、自分のローカル環境を叩くことができるので、完全にクローズドでAIの仕組みを動かすことができるようになる——ただしちょっと性能は劣る、という説明もされていた（該当箇所を聴く）。
番組での扱われ方
しぶちょーが推していた最大のメリットは、オンプレで自分の閉じた環境の中だけで動く点である。自分の環境の中だけで動くから、機密情報とかをバンバン入れても全然問題ないと語られていた（該当箇所を聴く）。そして、そういう閉じた環境があるからこそ、医療とか金融とかでも使えますよね、という話につながっていた（該当箇所を聴く）。
番組の締めくくりでしぶちょーは、ローカルLLMの面白さとして「LANケーブルを切っても動く」ことを挙げ、そこに驚きを感じましょう、という趣旨で「ランケーブル切って」と語っていた（該当箇所を聴く）。
動かすためのスペック
しぶちょーは、SLMがどんな感じかを最低限理解する上では、16ギガぐらいのメモリを積んでおいてほしいと語っていた。8ギガはちょっときついというニュアンスである（該当箇所を聴く）。16ギガあれば、だいたい14ビリオン（14B）ぐらいのモデルは乗ると言われている、とも話していた（該当箇所を聴く）。
GPUについては、爆速でとにかくパーッと回答させたいというわけでなければ、GPUは必須ではない、という見立てが語られていた（該当箇所を聴く）。
メモリの重要性は、その後の回でも改めて強調された。ep.58「[4月7日:速報回]ClaudeCode全コード流出/LLMは感情をもっている ほか」では、しぶちょーは、ローカルLLMを動かすときに一番重要なリソースはメモリだ、という趣旨で「メモリが重要だ」と語っていた（該当箇所を聴く）。GPUよりもまずメモリを確保しておくべきだという、ep.55からのスペック観が引き継がれている。
ローカルでのポッドケスト制作という構想
ep.58では、ローカルLLMの使いどころとして、番組そのものをローカルで作るという構想が語られた。しぶちょーは、完全にローカルで自分っぽいポッドキャストができるのではないか、という趣旨で「完全にローカルで自分っぽいポッドキャストできんじゃないかなと思って」と話していた（該当箇所を聴く）。閉じたローカル環境で機密情報も扱えるという既存のメリットが、自分たちの番組制作という具体的なアイデアにまで広がった場面である。番組が外のイベント（ポッドキャストミキサー神戸）で発信しつつ、制作の足場はローカルに寄せていけるのではないか、という方向性がうかがえる。
SLM・LMモデルとの関係
ローカルLLMとSLMは番組内で密接に結び付けて語られていた。しぶちょーは、それ（SLM）はスモールだよねという感じなんだけど、ただ別にローカル環境というのは、自分のパソコンがスーパーコンピューターぐらいすごいやつがあったらでっかいモデルも動かせるから、とにかくローカルで動かせる言語モデルはローカルLLMだ、と整理していた（該当箇所を聴く）。つまり、小さいモデルか大きいモデルかという軸（小型モデル / LLM）とは別に、「どこで動かすか」がローカルLLMという呼び方を決めている、というのが番組での捉え方である。
ローカルでSLMを動かす具体的な手段としては、LM Studioというソフトが番組ですすめられていた。
ep.69での語られ方：ローカルで動かすときの権限・データアクセス
ep.69「おちつきAI目安箱に全回答。生成AIの環境負荷からクロードコード活用法まで一挙解説」では、ローカルで動かすときの注意点が振り返られた。つけえは、オープンクロー（OpenClaw）の回でも、ローカルで動かすなら権限やデータアクセスはちゃんと意識しようという話があったよね、と振り返っている。番組内でのローカルLLMは、ここで、機密情報を扱える閉じた環境という利点とあわせて、ローカルで動かす以上、権限やデータアクセスをちゃんと意識する必要がある対象として語られている。該当箇所を聴く
ep.69での語られ方：MacBook AirやノートパソコンでローカルLLMが動くか
同じep.69では、リスナーからの質問として、軽量化が実用化されればMacBook Airの最小構成でもSLMが動かないか期待しているが、実際どうなのか、という声が紹介された。しぶちょーは、これが実用化されるとMacBook Airの最小構成でもSLMが動かないかなと期待しています、実際どうなんでしょうか、という質問だと紹介している。番組内でのローカルLLMは、ここで、より手元の身近なノートパソコンで動かせるようになるのか、という期待とともに語られている。該当箇所を聴く
そのうえでしぶちょーは、ローカルLLMを動かせますよね、みたいなノートパソコンは出てきそうな気がするよね、と見通しを述べていた。番組内でのローカルLLMは、ここで、それを動かせることを売りにしたノートパソコンが今後出てきそうだ、という形で語られており、メモリを重視するスペック観や、まずラズベリーパイぐらいの小さい環境から始めるという入り口の話とあわせて、手元のハードウェアでローカルLLMを動かす流れが広がっていく対象として捉えられている。該当箇所を聴く
こうしたローカルで動かす流れは、ep.69で語られた、クラウド側のClaude Sonnet（Claude）をどこで動かすかという話とも地続きであり、ローカルLLMは、自分のパソコンの中で閉じて動かす選択肢として語られ続けている。
ep.73での語られ方：音声入力を裏で支えるLLM
ep.73「【音声入力AI】キーボードはもうオワコン!? 最新AI音声入力AIツール4選と『喋る方が疲れる説』の真相」では、ローカルLLM的なLLMの使われ方が、音声入力の裏方として語られた。しぶちょーは、ああいう音声入力ツールには、自分の辞書を裏で持っておくことによってちゃんとそっちの意味で変換してくれるとか、文脈を理解して正しい感じにしてくれる、というサポートがある、と話していた。そういうサポートを裏でLLMでしながら爆速で文字起こししていく、というのが今どきの音声入力だ、という説明である（該当箇所を聴く）。
ここでは、ローカルLLMが「閉じた環境で機密情報を扱える」「メモリさえあれば手元で動く」といったこれまでの語られ方に加えて、ユーザー固有の辞書を裏に持ち、文脈を理解しながらリアルタイムに整形する裏方として、音声入力（音声入力）やWhisperのような文字起こしを支える使われ方が新たに加わった。
ep.75での語られ方：AI VTuberの頭脳としてのローカルLLM
ep.75「人はAIを『推す』のか？Neuro-samaのBAN事件から読み解く、AI VTuberと人間の新しい絆」では、AI VTuberをどう動かすか、という流れの中でローカルLLMが語られた。AI VTuberのネウロ様（Neuro-sama）のような存在をどんなAIで動かすかという話で、しぶちょーは、それこそローカルLLMでいいんじゃないの、ローカルLLMもいいと思うよ、と話していた（該当箇所を聴く）。番組内でのローカルLLMは、ここで、自分のパソコンの中で閉じて動かす選択肢という従来の語られ方に加えて、AI VTuberの頭脳として使ってもいいのではないか、という形で語られている。
そのうえでしぶちょーは、今だったらローカルとの組み合わせもいけるんじゃないかな、と話していた（該当箇所を聴く）。番組内でのローカルLLMは、ここで、すべてをクラウドに任せるのではなく、今ならローカルと組み合わせる形でも実現できそうだ、という見通しとともに語られており、メモリさえあれば手元で動くという従来のスペック観や、閉じた環境という利点が、AI VTuberの実装という新しい使いどころへ広がっている。
ここにも登場
出典エピソード
- 0c79d8f66e94df9640b47b
- 5c8998f8687908b3fb05d3
- 63929d86322847ec08daf3
- 946b2233a5378edd04bb97
- b6896621926997519277c2
各セクションの「該当箇所を聴く」リンクから、番組の発話そのものを確認できます。