Why Language Model Hallucinate（論文）

おちつきAIラジオでは、「Why Language Model Hallucinate（論文）」は、ハルシネーションがなぜ起こるのかという原因が分かった論文として扱われていた。番組では、細かい前置きのあとで「今日扱うのはハルシネーションなんで起こるかっていう原因が分かりましたよっていう論文」と紹介されていた。該当箇所を聴く

番組ではどんな論文として紹介されたか

この論文について、番組では「ハルシネーションが起こる原因が分かった」という文脈で紹介されていた。つまり、おちつきAIラジオ上では、単にLLMが嘘をつく現象を説明する一般論ではなく、ハルシネーションの発生理由に踏み込む論文として位置づけられていた。該当箇所を聴く

事前学習データが正しくても起こるという見方

番組では、この論文のポイントとして、仮に事前学習データが「100%全てが正しい文章」であったとしても、仕組み的にはハルシネーションが起こり得る、という説明が紹介されていた。おちつきAIラジオでの語られ方では、ハルシネーションを単にデータの誤りだけに帰すのではなく、事前学習（プレトレーニング）を含むモデルの仕組みの問題として捉える見方が示されていた。該当箇所を聴く

このページでの位置づけ

現時点でこのページに蓄積している番組内の語りでは、「Why Language Model Hallucinate（論文）」は、ハルシネーションの原因を説明する論文としてまず紹介され、そのうえで「学習データがすべて正しくても起こり得る」という論点が強調されている。該当箇所を聴く 該当箇所を聴く

ここにも登場

• 評価・報酬バイアス