落ち着き度判定
スコアリングLLM評価多数決リスナー投稿番組企画
落ち着き度判定とは、おちつきAIラジオでかねりんとしぶちょーが構想した、寄せられた投稿に点数(スコア)を付ける仕組みである。ep.51「Manusで番組公式Webサイトを作成 / 共著でAI書籍出版の計画」の中で、投稿に対するスコアを誰がどう付けるかが具体的に語られた。投稿を集めてスコア(ランク)を出すという見やす箱の構想と一体で語られている。
しきい値で本人に送る仕組み
かねりんは、スコアが50を超えたら本人たちに送信される、という仕組みにしたいと語っていた。すべての投稿を逐一見るのではなく、一定の点数を超えたものだけが番組の二人のもとに届くという、しきい値で振り分ける運用が想定されている。該当箇所を聴く
評価の方法をめぐる論点
スコアを誰が付けるかについて、かねりんは、LLMにそのまま評価させるのが一番手っ取り早いと思う、と語っていた。投稿の点数付けを人手で行うのではなく、言語モデルに直接評価させるのが現実的だという見方である。該当箇所を聴く
これに対してしぶちょーは、3つくらいのモデルに判断させればいいんじゃないか、多数決的にAIの3つのモデルくらいに、と応じていた。単一のモデルに任せきりにするのではなく、複数のモデルの判断を突き合わせて多数決で決めるという、判定の安定性を意識した案を示していた。該当箇所を聴く
他との関係
落ち着き度判定は、投稿を集めてランク・スコアを出す見やす箱の中核をなす仕組みとして語られている。集まった投稿を二人が解説して落ち着かせていくという番組の流れは、自分たちで道具や企画を作って紹介・運用していくガジェットレビュー文化の姿勢とも地続きである。
ここにも登場
出典エピソード
- ea924cf2aefbb7ecbb4608
各セクションの「該当箇所を聴く」リンクから、番組の発話そのものを確認できます。