TPU

TPUとは、おちつきAIラジオでは、しぶちょーによって、GPUとはまた別のユニットで、GoogleがAI計算用に開発したGPUみたいなものとして語られている対象である。ep.69「おちつきAI目安箱に全回答」では、生成AIの軽量化や計算基盤をめぐる話の流れの中で、Googleが作ったモデルや学習フレームワークと並べて、TPUがGoogle系のAI計算を支えるハードウェアとして紹介された。

概要

ep.69でしぶちょーは、TPUについて「これはGPUとはまた別のユニットでGoogleが開発したAI計算用のGPUみたいなやつ」と話していた。番組内では、TPUが、一般的なGPU・計算資源の格差で語られるようなGPUとは別のユニットであり、GoogleがAIの計算用に開発した、いわばGPUのようなものとして説明されている。該当箇所を聴く

ターボクアントとKVキャッシュの圧縮

TPUの話に入る前段として、しぶちょーは、Googleが作った軽いモデルにも触れていた。番組では「このキャッシュをめっちゃ圧縮したっていうのがターボクアントっていうGoogleが作ったモデルで、これがめっちゃ軽くていい」と語られている。ここでは、KVキャッシュをめっちゃ圧縮したのが、Googleが作ったターボクアントというモデルであり、それがめっちゃ軽くていい、という評価が示されていた。Googleが軽量で良いモデルやAI計算用のハードを自前でそろえている、という文脈の一部として、この話が語られている。該当箇所を聴く

TensorFlowとの関係

しぶちょーは、AIの計算に使われるフレームワークについても、TPUと地続きの話として語っていた。番組では「TensorFlowっていうのが、TensorFlowとパイトーチっていうのが主に2つ使われてる二大挙党なんだけど、TensorFlowはGoogleが作ったのね」と語られている。ここでは、AIで主に使われるのはTensorFlowとPyTorchの二大勢力であり、そのうちTensorFlowはGoogleが作ったものだ、という説明がされていた。番組内では、Googleが、TensorFlowという学習フレームワークと、TPUというAI計算用のハードの両方を自前で持っている、という流れの中でTPUが位置づけられている。該当箇所を聴く

他との関係

ep.69でのTPUは、ターボクアントのような軽量モデルや、知識蒸留（上流攻撃）・量子化といった生成AIの軽量化技術、そしてそれらを動かす並列計算の話と同じ流れの中で語られている。番組では、AIをどう軽く・速く動かすかという話題の一部として、Googleが自前で用意したAI計算用のユニットであるTPUが取り上げられていた。該当箇所を聴く

ここにも登場

• 知識蒸留（上流攻撃）
• 並列計算