ロングコンテキスト

ロングコンテキストとは、おちつきAIラジオでは、生成AIに一度に入力できる文章量（トークン数）がどれだけ大きいか、そしてその長い入力をどれだけちゃんと理解して扱えるか、というテーマとして語られている。ep.25「[12月16日:速報回]」では、ChatGPTの入力できるトークン数が大きく増えたことが話題になり、小説一冊ぐらいの分量が一撃で入る一方で、長文を本当に全部読めているかは微妙で、処理している間に後ろのことを忘れていく問題は依然として残る、という両面から語られた。

入力できるトークン数の拡大

しぶちょーは、入力できるトークン数について「なんだけど今は多分220何万トークンぐらいまでいけたんかな」と語り、今は多分220何万トークンぐらいまでいけるようになったのではないか、とうろ覚えのヘッジを置きつつ話していた。該当箇所を聴く

そのうえでしぶちょーは「25万トークンぐらいまでできる」とも述べ、25万トークンぐらいまで入力できるようになったと語っている。該当箇所を聴く

入力量の体感：小説一冊ぐらい

この入力量の大きさについて、しぶちょーは「小説一冊ぐらい入る」と表現し、小説一冊ぐらいの分量が一撃で入る、という体感を語った。該当箇所を聴く

どれぐらいの文字数になるかという話の中では、「一文字一トークンで考えていいのかな?24万文字ぐらいかな」と語られ、一文字一トークンで考えると24万文字ぐらい入る計算になる、という見積もりが示されている。該当箇所を聴く

長文理解度の向上と「全部読めているか」への疑問

しぶちょーは、長文の扱いについて「実際長い文章を入れるときに全部ちゃんと読んでくれてるかって微妙な説はあるんだけど、それでも長文に対する理解度っていうのはすごく上がったよねっていうのは5的に言われている」と語った。長い文章を全部ちゃんと読んでくれているかは微妙な説があるとしつつ、それでも長文に対する理解度はすごく上がったと言われている、という両面を残した語り方になっている。該当箇所を聴く

後ろを忘れる問題は依然として残る

一方でかねりんは、「ちゃんとしてる間にどんどん後ろのこと忘れてったりする問題は、それは以前としてあるんだ」と述べ、処理している間に後ろのことをどんどん忘れていく問題は依然として残っている、と話している。入力できる量が増えても、長い入力の後半が抜け落ちていくような課題はなお残っているという見方が示された。該当箇所を聴く

他との関係

おちつきAIラジオでは、ロングコンテキストの進展はRAG（検索拡張生成）の使い方とも結び付けて語られている。しぶちょーは、このぐらいの量のテキストであれば、RAGにせずに全部渡して回答させた方がいい、というように、ロングコンテキストに対応してくるとそういう使い方になってくる、という話があると述べていた。入力量が増えるほど、外部知識を引いてくるRAGよりも、テキストをそのままChatGPTに渡して答えさせる選択肢が現実的になってくる、という関係として整理されている。

語られ方の変遷・矛盾

ロングコンテキストについては、ep.25の中で、肯定的な面と慎重な面が同時に語られている点が特徴的である。入力できるトークン数は大きく増え、小説一冊ぐらいが一撃で入るほどになり、長文に対する理解度もすごく上がったと言われている、という前向きな評価がある。該当箇所を聴く 該当箇所を聴く

その一方で、長い文章を全部ちゃんと読めているかは微妙な説があり、処理の途中で後ろのことをどんどん忘れていく問題は依然として残る、という慎重な見方も同時に示された。番組内では、入力量の拡大と理解度の向上を評価しつつ、長文を本当に隅々まで扱えているかには留保が付く、という両論併記の語られ方になっている。該当箇所を聴く 該当箇所を聴く

ここにも登場

• ChatGPT
• RAG（検索拡張生成）