ABEJA

ABEJAとは、おちつきAIラジオの「国産LLM」を扱った回で、日本のAI開発を担う企業の一つとして紹介された存在である。番組では、海外のオープンモデルをベースにしながら日本語に特化して性能を上げていく、という日本ならではのアプローチの具体例として語られた。

番組での扱われ方

おちつきAIラジオでは、ABEJAが「Llamaっていうものをベースとして使いながら、そこに日本語をガツガツ学ばせて、日本語の性能を上げました」というやり方をしていると説明された。つまりMetaのLlamaを土台に据え、そこへ日本語を大量に学習させることで日本語の性能を引き上げた、という後出し的な戦略として紹介されている 該当箇所を聴く。

さらに番組では、ABEJAが「ちょっとパラメータ数をそれで独自に増やして、それで自己学習と事前学習をして、モデルの性能を向上させた」と語られた。ベースモデルをそのまま使うのではなく、独自にパラメータ数を増やしたうえで自己学習と事前学習を重ねてモデル性能を高めた、という取り組みである 該当箇所を聴く。

他との関係

ABEJAは、番組が一貫して論じていた国産LLM（国産LLM）の文脈で語られた企業であり、ゼロから巨大モデルを作るのではなく既存モデルを日本語に最適化していく実例として位置づけられている。パラメータ数を増やして事前学習を重ねるという話は、モデルの規模と性能の関係を扱うスケール則（札束則）とも地続きの論点として番組では触れられていた。