Perplexity

Perplexityは、おちつきAIラジオでは主に他のAIプロダクトの体験を説明するための比較対象として登場したが、ep.22ではAIの評価指標としての「Perplexity（困惑度）」も解説された。ep.5時点では、Cometのホーム画面や検索体験を語る流れの中で、Perplexityの検索画面に近いものとして言及されている。

ep.5での言及：Cometのホーム画面との比較

2025年10月7日の速報回では、AIブラウザAIブラウザーのCometについて話す中で、しぶちょーとかねりんは「ホーム画面がPerplexityの検索画面になったっていうだけ？」という趣旨のやり取りをし、それに近い体験だと確認していた。ここでのPerplexityは、Cometの見た目や入口の体験を説明するための参照点として扱われていた。該当箇所を聴く

この回の語られ方では、Perplexityそのものの機能や評価が詳しく掘り下げられたわけではなく、Cometのホーム画面が「Perplexityの検索画面」に似ている、あるいはPerplexityに類似した体験が組み込まれている、という比較として登場した。該当箇所を聴く

ep.22での言及：ChatGPT以前の言語モデルを評価していた指標

ep.22「ベンチマークの読み方」では、しぶちょーが、ChatGPTが出てくる前までの言語モデルは「すごいシンプルだった」とし、その評価にPerplexityという指標が使われていたと説明した。該当箇所を聴く

しぶちょーは、ここでややこしい点として、「Perplexityっていうサービスあるからややこしいんだけど、そもそもあのサービスはこのAIの指標から取ってる名前」だと述べた。つまり検索サービスのPerplexityは、もともとのAI指標から名付けられたものだという整理である。該当箇所を聴く

指標としてのPerplexityについて、しぶちょーは「困惑度とか、困ってる度合いみたいな」ものだと説明した。番組では、見当違いの単語を持ってきたり候補がいっぱいある状態を数値で表すもの、という語られ方をしている。該当箇所を聴く

そして、「GPT3とかChatGPTが登場したことで一気にね指標が変わってしまった」とされ、Perplexityだけでは評価しきれなくなり、MMLUのような新しいベンチマークへと評価の軸が移っていった流れとして語られた。該当箇所を聴く

番組内での位置づけ

おちつきAIラジオでは、Perplexityは二つの顔で登場している。ひとつはep.5でのCometのホーム画面に似た検索サービスとしての参照点、もうひとつはep.22でのChatGPT以前の言語モデルを評価していた「困惑度」という指標である。番組では、この二つが同じ名前を共有していることが「ややこしい」と明確に区別して語られていた。該当箇所を聴く