Fine-tuning

おちつきAIラジオでは、Fine-tuningはRAG（検索拡張生成）のように情報を渡して参照させる行為とは区別されるものとして語られた。しぶちょーとかねりんの対話では、AIに何かを「覚えさせた」「学ばせた」と言いたくなる場面でも、パラメーター更新を伴っているかどうかが、学習か参照かを分ける重要な見方として扱われていた。該当箇所を聴く

Fine-tuningは「学習」として語られた

番組では、Fine-tuningについて「結局Fine-tuningは学習なのよ」と説明されていた。ここでの学習とは、単に外部情報をプロンプトに入れて答えさせることではなく、モデル側のパラメーターが更新されることを含むものとして扱われている。該当箇所を聴く

また、Fine-tuningではモデル全体を丸ごと学習させるだけではなく、出口のパラメータなど先端部分だけを学習させることもある、というイメージで説明されていた。番組内では「先っちょだけ学習する」ような捉え方として語られ、Fine-tuningを、LLMに対して実際に変化を加える行為として位置づけていた。該当箇所を聴く

RAGで情報を渡すことは「学習」ではない

一方で、番組ではRAG（検索拡張生成）で情報を渡す行為は学習ではないと説明された。分析させたいデータがあるときに、そのデータのエクセルを渡すような感覚に近いものとして話されており、そこで起きているのは情報の参照であって、学習、つまりパラメーター更新ではないと整理されていた。該当箇所を聴く

この区別は、「自分の好みを学習させている」「覚えさせている」と言う場面にも当てはめられていた。番組では、もしそれがRAG的にプロンプトへ打ち込んでいるだけなら、パラメーター更新を伴わないため学習ではない、と語られている。該当箇所を聴く

パラメーター更新があるため、モデルそのものが変わる

Fine-tuningではパラメータが更新されるため、番組では「脳みそ」のようにモデルが変わるものとして説明されていた。RAGのように外から情報を渡して参照させるだけではなく、モデル側に変化が入るため、かなりのデータ量と時間が必要になるとも語られている。該当箇所を聴く

この説明の流れでは、Fine-tuningは「情報を一時的に渡しているだけ」の状態とは違い、AIの内部の振る舞いに関わる更新が発生するものとして扱われていた。おちつきAIラジオでは、この点がRAGとの大きな違いとして強調されている。該当箇所を聴く

学習と参照を分けると、AIのブラックボックス感が和らぐ

しぶちょーは、RAGのような参照の仕組みをこの段階で理解しておくことには価値があると話していた。学習と参照の区別を押さえておかないと、AIのブラックボックス感がどんどん大きくなっていく、という文脈で語られている。該当箇所を聴く

そのため、このページ対象としてのFine-tuningは、番組内では単独の技術名というよりも、「AIが本当に学習しているのか、それとも与えられた情報を参照しているだけなのか」を見分けるための比較対象として扱われた。Fine-tuningを学習、RAGを参照として整理することで、AIへの理解の解像度が上がる、という意義が語られていた。該当箇所を聴く

ep.30での実践：大喜利モデルのためのFine-tuning

ep.30「【新春】最強のAI大喜利を決めるAI-1グランプリ開催！ChatGPT vs 自作ファインチューニングモデル」では、Fine-tuningが、AIにAIのユーモア生成・大喜利をやらせるための具体的な手段として語られた。しぶちょーは、AIに大喜利を合わせたといっても、市販のやつでやったら誰でもできる、と話し、GeminiやClaudeのような市販モデルではなく、そこであえてFine-tuningすることを選んだと説明していた。該当箇所を聴く

この企画で作られたのが、しぶちょーが自作した渋町Fine-tuningモデルであり、Fine-tuningは、市販のチャットAIをそのまま使うのとは違う、自分でモデルを学習させて特化させる試みとして位置づけられている。該当箇所を聴く

「ユーモアじゃない」を教えるという学習アプローチ

ep.30では、しぶちょーが、Fine-tuningでユーモアを学ばせる際のアプローチについても語っていた。番組内では、これがユーモアだよと教えるよりも、これはユーモアじゃないんだよという方を教えてあげる、という方向が示されていた。該当箇所を聴く

この発言では、Fine-tuningによる学習が、正解の例を与えるだけでなく、何が不正解かを示すことでも成り立ちうる、という見方として語られている。番組内では、ユーモアのように正解が一つに定まりにくいものをAIに学ばせるうえで、「ユーモアじゃない」を教えるアプローチが一つの工夫として扱われていた。該当箇所を聴く

ユーモアに振りすぎると全部大喜利で返ってくるという副作用

ep.30では、Fine-tuningでユーモアに振りすぎたときの副作用も語られた。番組内では、ユーモアに特化させすぎると他に何かできなくなるのか、というやり取りに対して、しぶちょーは、そう、全部大喜利で返ってきちゃうみたいな、と答えていた。該当箇所を聴く

この発言は、Fine-tuningが、ある方向に特化させると他の振る舞いが犠牲になりうる、という性質を持つことを示している。番組内では、ユーモアに寄せたFine-tuningの結果として、どんな入力に対しても大喜利のような返答ばかりになってしまう、という具体的な副作用が語られていた。該当箇所を聴く

特化型なら意外とチューニングできるという見方

ep.30では、しぶちょーが、特化型だったら意外とチューニングできる、という見方を示していた。番組内では、これはさっきのダジャレの話の研究でも言われている、として、特定の領域に絞ったモデルであれば、Fine-tuningによる調整が比較的うまくいくという趣旨で語られていた。該当箇所を聴く

この発言は、汎用的に何でもこなすモデルを作るよりも、用途を絞った特化型のほうがFine-tuningの効果を出しやすい、という考え方として記録される。番組内では、ダジャレ・ダジャレをめぐる話の流れともつなげながら、特化型のFine-tuningの可能性が語られていた。該当箇所を聴く

データセット作りが大変だという指摘

一方でしぶちょーは、Fine-tuningにも難しさがあると話していた。番組内では、Fine-tuningもね、データセット作るのが大変なのよ、と述べられ、モデルを学習させること自体だけでなく、そのための学習データを用意する手間が大きい、という実務的な指摘が加えられた。該当箇所を聴く

この発言は、既存ページで語られていた「Fine-tuningにはかなりのデータ量と時間が必要になる」という説明とも重なる。番組内では、Fine-tuningが学習として強力である一方、そのためのデータセット作りという準備の負担が大きいことが、実際に手を動かす立場から語られていた。該当箇所を聴く 該当箇所を聴く

Fine-tuningの威力を知ったという感想

ep.30の企画を経て、かねりんは「Fine-tuningの威力を知りました」と述べていた。番組内では、市販のチャットAIをそのまま使うのとは違う、自作のFine-tuningモデルで大喜利を競うという企画を通じて、Fine-tuningが持つ力をあらためて実感した、という感想として語られていた。該当箇所を聴く

この感想は、既存ページで整理されていた「Fine-tuningは学習であり、参照とは違ってモデルそのものを変える」という理解が、実際にモデルを作って動かす体験を通じて、威力として体感されたことを示している。該当箇所を聴く

語られ方の変遷

初期の回では、Fine-tuningは主にRAG（検索拡張生成）との対比として語られ、パラメーター更新を伴う「学習」と、情報を渡して参照させるだけの「参照」を見分けるための概念として整理されていた。番組内では、この区別を押さえることでAIのブラックボックス感が和らぐ、という意義が強調されていた。該当箇所を聴く 該当箇所を聴く

ep.30では、その理解が実践の話へと進んだ。Fine-tuningは、市販モデルでは誰でもできてしまう大喜利を、あえて自作モデルで作るための手段として使われ、ユーモアじゃないを教えるアプローチ、ユーモアに振りすぎると全部大喜利で返ってくる副作用、特化型なら意外とチューニングできるという見方、データセット作りが大変だという難しさ、そしてFine-tuningの威力を知ったという感想が新たに加わった。該当箇所を聴く 該当箇所を聴く 該当箇所を聴く 該当箇所を聴く 該当箇所を聴く 該当箇所を聴く

これらは、初期の「学習か参照か」という概念整理と矛盾するものではなく、Fine-tuningを実際に手を動かして試した結果として、その効果と難しさの両面が具体的に語られた形になっている。

ここにも登場

• AIのユーモア生成
• ダジャレ
• 国産LLM
• Gemini
• ハルシネーション
• 大喜利
• おちつきAIラジオ 番組全体の地図
• 渋町Fine-tuningモデル