サブリミナル学習・能力の波及

サブリミナル学習・能力の波及とは、おちつきAIラジオでは「LLMがある分野で鍛えた能力や、内部に宿った嗜好が、一見関係のなさそうな別のタスクへと波及・伝染していく現象」として語られているテーマである。1月20日の速報回（ep.35）で、かねりんがLLMの不思議な振る舞いとして紹介した。

概要

かねりんは、「LLMがゲームで鍛えた能力が、全く関係のなさそうな分野にも波及した」という話があると語った該当箇所を聴く。番組では、今のAIの学習が基本的に「フォーマル学習」、つまり答えがあってこれが正解・これが間違いと教える形であることを前提として、この波及現象が説明された。

主な論点

かねりんによれば、フォーマル学習（この場合は数学）の問題も答えられるようにしつつ、インフォーマル学習としてゲームも回答できるように、両方が成り立つように学習させると、「ゲームで得した内容がいろんなタスクで波及して賢くなる」ような結果が出たという該当箇所を聴く。数学とゲームを両立させると、ゲームで身につけたものが他のタスクにも効いてくる、という形で語られた。

さらにかねりんは、より直接的な伝染の例として、モデル間でやり取りされる数字の中に「その袋を好きになるニューロンを活性化させるような数列が紛れ込んでいて」、表面的なやり取りには出てこないのに「その袋好きが映る（伝わる）」という現象を挙げた該当箇所を聴く。送られる数字列の中に、特定の嗜好を司るニューロンを動かす成分が潜んでいて、嗜好そのものが伝染してしまう、という話である。

他との関係

この話題は、ニューロンの活性化を観察・操作するという点で LLMの解釈可能性・生物学的研究（LLMの解釈可能性・生物学的研究）と密接に結びついており、番組でも続けて語られた。表面に出ない数列を通じて嗜好が伝わるという性質は、AIの予期せぬ振る舞いという意味で AIの安全性と事故 の論点とも重なる。また、見えないところで情報や性質が伝わってしまうという構図は、AIにうかつに情報を渡すことの危うさ（暗号資産の秘密鍵管理 などで語られた秘密の流出の話）とも通じる文脈で扱われた。

ここにも登場

• LLMの解釈可能性・生物学的研究