Hugging Face

Hugging Faceは、おちつきAIラジオのep.22「ベンチマークの読み方を知り『自分軸』で性能評価する技術」で紹介された、オープンソースのモデルが集まるAIプラットフォーム/コミュニティである。番組では、オープンソースモデルのベンチマーク汚染をみんなで監視できる場として語られた。

オープンソースモデルと汚染チェックの大切さ

しぶちょーは、オープンソースのモデルも性能を高めてもらわなければいけない一方で、「オープンソースのモデルで性能を高めましょうって言って不正にベンチマークのものが混入してたらまずい」と述べた。番組では、上位の有名モデルだけでなく、その下位にあたるオープンソースモデルの評価をきちんと見ることも大事だ、と語られている。該当箇所を聴く

特定ベンチマークだけ高いモデルは疑われる

しぶちょーは、特定のベンチマーク（表）だけ点数が高い場合について、「この表だけ高いってことは、なんか学習ミスってるというか、ベンチマークの文章学習してんじゃないか」という疑いが持たれる、と説明した。つまり、ある指標だけ突出して高いと、ベンチマークの問題文を学習してしまった汚染が疑われる、という見方である。番組では、オープンソースだからこそ、こうした不自然さをみんなで総監視できる、という点が利点として語られていた。該当箇所を聴く

GitHubとRedditが合体したようなプラットフォーム

Hugging Faceがどういう場なのかについて、しぶちょーは「GitHubとRedditが合体したみたいな感じなのかな」と表現した。番組では、モデルやコードが共有される開発プラットフォームとしての側面と、人々が議論し合うコミュニティとしての側面を併せ持つ場として説明されている。Stable Diffusionのようなオープンソースの画像生成モデルも、こうしたオープンな文化の中で共有・改良されてきた、という文脈で語られていた。該当箇所を聴く

ここにも登場

• ベンチマーク汚染
• Stable Diffusion