LLM

おちつきAIラジオでは、LLMは「最初に事前学習します」と整理され、現在触れている大規模言語モデルは主に事前学習と事後学習の二段階で作られるものとして説明されていた。該当箇所を聴く その後、AIの「学習」と「参照」の違いを扱う文脈では、LLMには学習済みの範囲に時期的な区切りがあるものとして語られ、毎回新しい情報が出るたびに学習させると膨大な計算時間と計算資源がかかる、と説明されていた。該当箇所を聴く 該当箇所を聴く

番組での位置づけ

この回で番組は、LLMを作る流れをまとめる文脈で扱っていた。番組では、LLMはまず事前学習を行い、その後に事後学習へ進むものとして語られていた。該当箇所を聴く

別の回では、RAG（検索拡張生成）をやさしく解説する前提として、AIが「学習する」ことと、外部の情報を「参照する」ことの違いが話題になった。その中でLLMは、あらゆる新しい情報をその都度学習し直す存在ではなく、学習済みの範囲に時期的な区切りがあるものとして説明されていた。該当箇所を聴く

作られ方として語られた流れ

番組では、現在触れている大規模言語モデルについて、主に「事前学習」と「事後学習」の二段階で作られているとまとめられていた。発話では「LLMっていうのは最初に事前学習します」と述べられており、LLM理解の入口として、まず事前学習が置かれていた。該当箇所を聴く

学習済み範囲の区切りとしての説明

このエピソードでは、しぶちょーとかねりんの会話の中で、LLMについて「2024年の何月までしか学習しません」といった言い方が以前よく出てきた、という形で説明されていた。ここでは、LLMが一度作られた後も常に最新情報を学習済みである、というよりも、どこまでの情報を学習しているかに区切りがあるものとして語られていた。該当箇所を聴く

新しい情報を毎回学習させる難しさ

番組では、新しい情報が出るたびに毎回モデルを学習させると、「すごく膨大な計算時間と計算資源がかかる」と説明されていた。LLMの理解において、番組は単に「学習すればよい」と見るのではなく、学習をやり直すことの重さもあわせて語っていた。該当箇所を聴く

パラメータ数による定義

ep.55「AI驚き屋もスルーする地味なスゴさ！SLMの魅力と、量子化・プルーニングなどの軽量化技術」では、しぶちょーが、LLM（ラージランゲージモデル）を、パラメータ数が数兆個などとめちゃくちゃ多いモデルのことだと説明している。発話では「パラメータ、まあとにかくパラメータ数っていうものが、数兆個とか、めっちゃいっぱいあるよねっていうのがラージランゲージモデルね」と述べられており、番組内でのLLMは、ここで、とにかくパラメータ数がものすごく多いモデルとして定義されている。該当箇所を聴く

巨大化の限界というコスト・環境負荷の論点

この回でしぶちょーは、LLMの巨大化について、電気でずっとやってきたけれど、ここにきてモデルの巨大化は消費電力や環境負荷もそうだし、コストの面でだいぶ運用で限界が見えてくる、というのが少しずつ分かってきた、と語っていた。番組内でのLLMは、ここで、パラメータを増やして大きくしていく方向が、消費電力・環境負荷・コストの面で運用の限界に近づいている存在として語られている。これは、小さくても性能のよい小型モデル（SLM）が今後のキーになりうる、という今回のエピソードの主題の前提として持ち出されている。該当箇所を聴く

しぶちょーは、その無駄を、巨大モデルで簡単な処理をするのは「F1カーでスーパーに行くみたいな話」だ、という例えで語っていた。番組内では、明らかに高性能なLLMに単純な処理をやらせることの無駄が、F1カーでコンビニやスーパーに買い物に行くようなものだ、という形で語られている。該当箇所を聴く

語られ方の変遷

初期の説明では、LLMは主に「事前学習」と「事後学習」の二段階で作られるものとして、モデルの作られ方に焦点が当てられていた。該当箇所を聴く

その後の説明では、LLMがどのように作られるかだけでなく、学習済みの範囲に時期的な区切りがあることや、新しい情報が出るたびに学習させると計算時間と計算資源が大きくかかることへ話題が広がった。該当箇所を聴く 該当箇所を聴く

ep.55では、LLMをパラメータ数が数兆個などとめちゃくちゃ多いモデルとして定義し直したうえで、その巨大化が消費電力・環境負荷・コストの面で運用の限界に近づいている、という論点が加わった。該当箇所を聴く 該当箇所を聴く これは、初期の「事前学習・事後学習で作られる」という作られ方の語りや、その後の「学習済み範囲の区切り」「更新コストの重さ」といった語りを否定するものではなく、その延長として、巨大モデルで簡単な処理をする無駄（「F1カーでスーパーに行く」）や、小さくても性能のよい小型モデルへ評価軸が移りうること、という今回のSLMの話の前提として、LLMの巨大化の限界が語られたものである。該当箇所を聴く

ここにも登場

• Claude Code（ウェブ版）
• Fine-tuning
• ガーベッジイン・ガーベッジアウト
• Gemma
• GPT-5
• ローカルLLM
• Llama
• おちつきAIラジオ 番組全体の地図
• 事前学習（プレトレーニング）
• Qwen
• RAG（検索拡張生成）
• 評価・報酬バイアス
• 小型モデル
• Why Language Model Hallucinate（論文）