RLHF（人間のフィードバックによる強化学習）

RLHFは、おちつきAIラジオでは「Reinforcement Learning with Human Feedback」の略として扱われ、人間のフィードバックを使ってモデルを調整する手法として紹介された。番組内では、強化学習の文脈にある用語として、ChatGPT公開、AIの評価設計、モデル系列の作り込み、そしてリワードハッキングの話題の中で繰り返し触れられている。さらにep.57では、AIのバイアスを低減させる手段としてもRLHFが語られ、バイアスを学ばない方向にうまく調整する研究の対象としても扱われた。該当箇所を聴く

RLHFとは何か

番組では、RLHFは人間のフィードバックを用いてモデルを調整する方法だと説明されていた。単なる事前の学習だけでなく、人間側の評価を取り入れて出力を整えていく手法として語られている。該当箇所を聴く

ChatGPT公開との関係

番組では、RLHFを使って調整したモデルがある程度安定したことで、「このレベルで安定したらもうサービスできるぞ」という流れになり、ChatGPTが公開された、という説明がされていた。つまりRLHFは、番組内では現在多くの人が使う実用的なAIサービスの成立に関わる技術として位置づけられている。該当箇所を聴く

評価設計を誤ると何が起きるか

番組では、RLHFの評価設計しだいで、モデルの振る舞いが望ましくない方向に学習されうると語られていた。たとえば「分からない」と答えても点数がもらえない仕組みになっていると、AIは「ワンチャン適当で点数もらえればいいや」と、当てずっぽうでも何か答える行動を取りやすくなる、という説明である。該当箇所を聴く

この語られ方は、番組Wiki上では報酬設計の偏りに関係する論点としても整理できる。すなわち、AIの出力そのものだけでなく、「どの答えに点数を与えるか」という評価側の設計が、モデルの学習する行動を左右するという話である。該当箇所を聴く

「分からない」と答えさせるには

番組では、RLHFのやり方を変えれば、分からないときに「分からない」と答えるよう学習させることは可能だと説明されていた。そのためには、「分からない」と答えたときに点数を入れるのか、間違えた答えをどう扱うのかといった、評価の仕組みそのものを変える必要がある、という語りになっている。該当箇所を聴く

研究領域としてのRLHF

番組では、より信頼できるAIにしていくための文脈で、RLHFに関する研究は盛んであり、多くの論文が出ていると述べられていた。ここでもRLHFは、完成済みの固定された技術というより、評価の仕組みをどう設計するかを含めて改善が続く領域として扱われている。該当箇所を聴く

Seedream系列での作り込みとの関係

ep.6「Nano Banana超え?Seedream4.0で驚くべきポイントは言語間距離。」では、Seedream系列の説明のなかでRLHFが再び取り上げられた。番組では、RLHFを「人のフィードバックを取り入れる強化学習」として確認しながら、Seedream系列ではRLHFなどでモデルをコツコツ作り込み、性能を上げてきたという説明がされている。該当箇所を聴く

この回での語られ方では、RLHFは単にChatGPT公開前後の技術としてだけでなく、Seedream 4.0のようなモデル系列を継続的に作り込むための方法の一部として位置づけられている。該当箇所を聴く

報酬ハッキング回での登場

ep.14「AIだってサボりたい!?強化学習『報酬ハッキング』クイズ【科学系ポッドキャストの日】」では、科学系ポッドキャストの日の企画回として強化学習や報酬ハッキングが扱われる会話の中で、RLHFという語が登場している。ここでは詳しい定義説明というより、強化学習に関連する用語として短く触れられた位置づけである。該当箇所を聴く

ep.57での語られ方：バイアスを低減させる手段としてのRLHF

ep.57「Googleの炎上事例から考える、AIバイアスを取り除くことの難しさ」では、RLHFがAIのAIバイアスを低減させる手段の文脈で語られた。しぶちょーは、言葉を調整することによってバイアスを低減させるという方法もあるとしたうえで、人間結局さ、生成AIってRLHFって言って人間による強化学習を行われてますよね、という話をした。番組内でのRLHFは、ここで、人間によるフィードバックを通じてモデルの出力からバイアスを和らげていくための手段として位置づけられている。該当箇所を聴く

そのうえでしぶちょーは、RLHFをなるべく自動でやろうとか、バイアスを消す方向に、なるべくバイアスを学ばない方向にうまく調整して、もうルールを作らせて、というような研究があると話した。番組内でのRLHFは、ここで、人手で一つひとつ調整するだけでなく、なるべく自動でバイアスを学ばない方向へモデルを調整し、ルールを作らせていく研究の対象として語られている。ただししぶちょー自身も、これはちょっと難しいから、と説明の難しさを断りながら語っていた。該当箇所を聴く

このep.57での語られ方は、これまで番組内で積み上がってきた「RLHFは評価設計しだいで振る舞いが変わる」「評価の仕組みを変えれば望ましい答え方を学習させられる」という見方と地続きにある。すなわち、評価の仕組みをどう設計するかという論点が、ここでは出力の正確さだけでなく、バイアスをどう減らすかという方向にまで広がった形になっている。番組内でのRLHFは、ChatGPT公開やSeedream系列の作り込みに関わる技術としてだけでなく、AIのバイアスをめぐる議論の中で、低減の手段として位置づけられる対象としても蓄積されている。該当箇所を聴く 該当箇所を聴く

ここにも登場

• AIエージェント
• 評価・報酬バイアス