Llama

Llamaとは、おちつきAIラジオでは、Metaの大規模言語モデル（LLM）のファミリーであり、その系統がSLM（小型モデル）としてよく使われるものとして語られている存在である。ep.55「AI驚き屋もスルーする地味なスゴさ！SLMの魅力と、量子化・プルーニングなどの軽量化技術」で、しぶちょーがSLMの代表例を紹介する流れの中で取り上げた。

概要

しぶちょーは、Llamaについて「一応これ大規模言語モデルのファミリーメインになるんですけど、Llamaっていう系統のものが大体そのSLMとしてよく使われるものです」と語っている。番組内では、Llamaはあくまで大規模言語モデルのファミリーがメインでありながら、その系統のものが、軽量で手元でも使えるSLMとしてよく使われるものとして位置づけられている。該当箇所を聴く

研究ベースとFine-tuningでの定着

しぶちょーは、Llamaがなぜよく使われるのかについても語った。番組では「研究ベースとかFine-tuningしましたみたいな、そういうものですごく定着していて、なんで定着したのかよくわかんないんだけど、研究ベースで」と話されている。ここでは、Llamaが研究ベースやFine-tuningの用途でよく使われて定着しており、情報が多いがゆえに、さらに使われるようになっている、という見方が示されている。該当箇所を聴く

オープンであることの大切さ

Llamaをめぐる会話の中で、モデルがオープンであることの大切さも語られた。番組では「オープンじゃないってこと？オープンであることは大事なの？オープンであることは大事」というやり取りがあり、しぶちょーは、モデルがオープンであることは大事だ、という見方を示している。Llamaが研究やFine-tuningの場で定着していることの背景として、こうしたオープンであることの価値が番組では語られている。該当箇所を聴く

他との関係

おちつきAIラジオでLlamaは、SLM（小型モデル）の代表的な系統として、量子化やプルーニング、知識蒸留といった軽量化技術（知識蒸留（上流攻撃））とともに語られている。手元で軽いモデルを動かす文脈で扱われた存在であり、ローカルでモデルを動かすための環境（LM Studio）の話題ともつながる位置づけで紹介された。該当箇所を聴く

ここにも登場

• 国産LLM
• 知識蒸留（上流攻撃）
• Qwen