並列計算

並列計算とは、おちつきAIラジオでは、しぶちょーによって、AIの計算がたくさんの小さく簡単な計算からできていて、それを大勢で一斉に解かせるイメージとして語られているテーマである。ep.69「おちつきAI目安箱に全回答」では、生成AIの計算基盤を説明する流れの中で、東大生一人と小学生50人という例えを使って、GPUによる計算のイメージが語られた。

概要

ep.69でしぶちょーは、並列計算を、頭の良さと人数の対比でたとえて説明していた。番組では「東大生が一人いますよと、小学生が50人いますよと、東大生一人の方が絶対頭いいじゃん」と語られている。ここでは、一人で難しい計算をこなせる東大生のような存在と、頭脳の面では及ばないが人数の多い小学生50人のような存在とを対比させながら、計算をどう分担させるかという話が始められていた。該当箇所を聴く

GPUの計算のイメージ

そのうえでしぶちょーは、AIの計算が並列計算に向いている理由を語っていた。番組では「だからAIって結構ちっちゃい簡単な計算がいっぱいあるから、それをみんなで小学生にいっぱい溶かせてるみたいなイメージがGPUの計算っていう感じかな」と話されている。ここでは、AIには小さく簡単な計算がいっぱいあるので、それを小学生にいっぱい解かせているようなイメージがGPUの計算だ、という見方が示されている。番組内での並列計算は、一人の賢い存在に難しい問題を解かせるのではなく、簡単な計算を大勢で手分けして一斉にこなしていくものとして語られていた。該当箇所を聴く

他との関係

ep.69での並列計算は、生成AIの軽量化や計算基盤をめぐる話の流れの中で語られており、GoogleがAI計算用に開発したユニットであるTPUや、Googleが作った軽量モデルである知識蒸留（上流攻撃）・量子化といった話題と同じ文脈に置かれている。番組では、AIの計算をどう速く・効率よく回すかという話の一部として、小さな計算を大勢で並列に解かせるGPUのイメージが取り上げられていた。該当箇所を聴く

ここにも登場

• 知識蒸留（上流攻撃）
• TPU