グッドハートの法則

グッドハートの法則は、おちつきAIラジオのep.22「ベンチマークの読み方を知り『自分軸』で性能評価する技術」で紹介された、指標が目標になるとその指標は良い指標でなくなる、という法則である。番組では、ベンチマーク性能がなぜ歪んでいくのかを説明する考え方として持ち出された。

番組での説明

しぶちょーは、グッドハートの法則について「何かの指標があったときに、指標が目標になるとそれは良い指標でなくなるっていう法則」だと説明した。指標は本来、何かを測るためのものだが、それ自体を達成すること（目標）にすり替わると、指標としての意味を失ってしまう、という考え方である。該当箇所を聴く

19世紀ベトナムのネズミの例

しぶちょーは、歴史上で起こったグッドハートの法則の例として、19世紀のベトナムで起こった問題を紹介した。番組では、すごい数のネズミが出たという話から、ネズミ退治の成果を測る指標が逆効果を生んだ事例として語られている。退治の成果をネズミの尻尾の本数で測ったところ、人々が尻尾を量産し始めてしまった、という流れである。該当箇所を聴く

ベンチマークへの当てはめ

番組では、この法則をそのままAIのベンチマークに当てはめて語っている。しぶちょーは「このベンチマークのテストも結局みんなAI開発してる人はいい指標、いい点数を取りたいのよ」と述べ、開発者が点数を取りに行こうとした瞬間に、ベンチマークという指標が目標に変わってしまう、と指摘した。これは、ベンチマークに特化しすぎて枠外で能力を使えなくなるベンチマーク汚染の問題や、強化学習でのリワードハッキングとも重ねて語られていた。該当箇所を聴く

ここにも登場

• ベンチマーク汚染
• リワードハッキング