LLMの解釈可能性・生物学的研究

LLMの解釈可能性・生物学的研究とは、おちつきAIラジオでは「LLMの中身がどう動いているのかを、生き物の脳を観察するように調べていく研究」として語られているテーマである。1月20日の速報回（ep.35）で、かねりんがLLMの内部の不思議さを語る中で取り上げた。

概要

かねりんは、これがまるで生物学のようだと語り、「生き物と一緒」「LLMって育てるよっていう感覚があるんだって、研究者って」と紹介した。研究者はLLMの中がどういう風に動いているのかを、「脳をパカッて開いて見るみたいな感じで、その動きを見ていく」のだという該当箇所を聴く。番組では、LLMを設計物というより育てる生き物として扱う研究者の感覚が印象的に語られた。

主な論点

かねりんは具体例として、「橋」に関するニューロンの部分を活性化させただけで、モデルが「私は橋なんだ」と回答するようになった話を挙げた。体は持っていないのに、自分のことを橋だと勘違いするようになってしまった、と語り「怖いな」と漏らした該当箇所を聴く。ここで言う「活性化」とは、反応がより出やすいようにパラメータを強くすることだと番組内で補足された。

またかねりんは、「これLLMってさ、人間の脳に近いから」と、LLMが人間の脳に近いものだという感覚を繰り返し述べた該当箇所を聴く。そのうえで、「LLMの現象を突き詰めて脳をハックしていったら、逆にわかるんじゃない」と、LLMの解明が逆に人間の脳の理解につながるのではないか、という展望を語った該当箇所を聴く。

他との関係

ニューロンを活性化させることで振る舞いが変わるという話は、嗜好や能力が思わぬ形で伝わる サブリミナル学習・能力の波及（サブリミナル学習・能力の波及）と同じ流れで番組内で語られた。中身が読み解ききれず、特定の操作で思いがけない振る舞いが現れるという点は AIの安全性と事故 の関心とも重なる。さらに、AIの中身が人間に把握しきれていないことは、AIにうかつに情報を渡すことの危うさ（AIのプライバシー・情報漏洩リスク）という回全体のテーマとも結びついている。

ここにも登場

• AIの安全性と事故
• サブリミナル学習・能力の波及