Nejumi Leaderboard

Nejumi Leaderboardは、おちつきAIラジオのep.22「ベンチマークの読み方を知り『自分軸』で性能評価する技術」で紹介された、日本語LLMのリーダーボードである。番組では、英語圏中心のベンチマークだけでなく、日本語での性能を見るための手がかりとして取り上げられた。

番組での説明

しぶちょーは、このリーダーボードに「ネジュミって書いてある」と紹介し、「なんでネジュミなのかよくわかんないんだけど、オタクっぽい人が作ったのかな」と名前の由来に首をかしげていた。そのうえで、「これは本当に日本語のLLMのリーダーボードなので、これを見ると日本語の何が強いのかっていうのがわかる」と説明している。該当箇所を聴く

番組内での位置づけ

おちつきAIラジオでは、定量的なベンチマーク性能と、人間が評価するLMアリーナの両方を見ることが勧められたうえで、さらに日本語での強さを知る手段としてNejumi Leaderboardが挙げられた。番組のテーマである「自分軸で性能評価する」という観点から、日本語で使うなら日本語のリーダーボードも見ておくとよい、という流れで紹介されている。該当箇所を聴く

ここにも登場

• ベンチマーク性能
• リーダーボード