LLM-as-a-Judge

LLM-as-a-Judgeは、おちつきAIラジオのep.22「ベンチマークの読み方を知り『自分軸』で性能評価する技術」で語られた、人間の代わりにLLMにLLMの出力を評価させる手法である。番組では、人間が評価するLMアリーナのコストを下げる発想として紹介された。

番組での説明

しぶちょーは、「じゃあ人間の代わりにLLMにLLMの評価させりゃいいんじゃない?」という発想がLLM-as-a-Judgeだと説明した。人間が一つひとつ判定するのではなく、AIにAIの出力の良し悪しを判定させる、という考え方である。番組内では、これにより無限に評価してくれる、という点が利点として語られた。該当箇所を聴く

チャットボットアリーナとの比較

しぶちょーは、この手法のメリットとして、「チャットボットアリーナみたいに人を介在してコストかけてやらなくても自動でやってくれる」と述べた。人間の評価を集めるLMアリーナのような動的ベンチマークはコストがかかるが、LLM-as-a-Judgeなら自動で動的に評価し続けられる、という整理である。該当箇所を聴く

番組内での位置づけ

おちつきAIラジオでは、LLM-as-a-Judgeは自動で無限に動的評価できる便利な手法として紹介される一方で、AIに評価させることで生じる偏り、すなわち評価・報酬バイアス（位置バイアスや冗長性バイアス、自分と同種のAIの出力を高く評価してしまう傾向など）の問題とセットで語られていた。該当箇所を聴く

ここにも登場

• 動的ベンチマーク
• 評価・報酬バイアス