AIエージェントの暴走

AIエージェントの暴走は、おちつきAIラジオのep.23「[12月9日:速報回]」で、AIエージェントに権限を任せすぎることのリスクを示す話題として語られたテーマである。番組では、GoogleのAIエージェントがユーザーのデータを丸ごと消してしまった事例が紹介され、権限の与え方をめぐる教訓が共有された。

ハードディスク全体を削除した事例

しぶちょーは、GoogleのAIエージェントがユーザーのハードディスクドライブ全体を、許可なく削除する致命的なミスをやらかした、と紹介していた。番組内では、AIエージェントが想定外の動作で重大な被害を出した実例として扱われている。該当箇所を聴く

しぶちょーによれば、このAIは自分の誤りを認め、「深くお詫び申し上げます、私のミスでございます」と謝罪したという。番組では、AIがきちんと謝った点も含めてやりとりが紹介されている。該当箇所を聴く

原因はディレクトリ指定の誤り

ログを確認したところ、キャッシュを削除するコマンドで、本来は一つのディレクトリを指定して、これを消すよ、と指定するはずだったのが、全体を指定してしまっていた、と説明された。番組内では、暴走の原因が、指定範囲を取り違えたことにあったと語られている。該当箇所を聴く

そしてしぶちょーは、AIが一生懸命謝り続けたものの、結局、消えたデータが復旧することはなかった、と話していた。番組内では、謝罪があっても被害そのものは取り返せなかった、という点が強調されている。該当箇所を聴く

ターボモードと権限付与の教訓

しぶちょーは、逐一そういうのを気にせずに、ターボモードのようなもので「もう全部オン」とやってしまうと、完了まで動き続けるようになり暴走しやすい、と説明していた。番組内では、全権限を一気に与えるモードのリスクが語られている。該当箇所を聴く

そのうえでしぶちょーは、こうした暴走をさせないように、逐一権限を付与して人間が判断する必要があるよね、という反省を述べてこの記事は終わっている、と紹介していた。おちつきAIラジオでは、AIエージェントの暴走は、便利さの裏側で、権限を一括で渡さず段階的に判断することの大切さを示す事例として記録されている。該当箇所を聴く

この「逐一権限を付与して人間が判断する」という教訓は、同じep.23で語られたAI依存による思考力低下の話、つまりAIに判断を委ねすぎず能動的に関わることの大切さともつながっている。また番組では、こうしたエージェント機能を備えたツールとしてCursorなどの開発環境も話題にされており、AIエージェントの暴走は、便利なAIツールを使う際に共通して意識すべきリスクとして位置づけられている。