コンテキスト長
こんてきすとちょう
Context Length
一言でいうと
LLMが一度に取り扱える入力+出力の最大トークン数のこと。
詳しい意味
コンテキスト長(コンテキストウィンドウ)は、LLMが一度のやりとりで取り扱える入力と出力の合計トークン数の上限です。たとえば「200K トークン」のモデルは、約30万文字相当の入力履歴・添付ドキュメント・出力をまとめて扱えます。コンテキスト長を超えた古い情報は途切れる(または要約される)ため、長い対話・大量資料の参照では「どこまで覚えていられるか」の制約として効いてきます。長コンテキスト = 性能・コスト両面でリッチですが、トークン数に応じて API 料金とレイテンシーが伸びるトレードオフがあります。
何に使うか
長い文書を一度に要約・分析させたいとき。長い対話履歴を保ちたいエージェント設計のとき。コードベースを丸ごと読ませてリファクタリング提案を受けたいとき。
どんな時に出るか
「コンテキスト長が足りない」「200Kコンテキストで丸ごと放り込む」「コンテキストが切れた」といった場面で登場します。
具体例
- 200K トークンのコンテキスト長で、社内Wiki全文を一度に読み込ませた。
- コンテキストが切れて以前の指示を忘れていたので、システムプロンプトに恒久指示を移した。
別名・略称
context length(こんてきすとれんぐす)context window(こんてきすとうぃんどう)コンテキストウィンドウ(こんてきすとうぃんどう)
初心者向けメモ
「人の短期記憶」のようなものです。会話の中で最近の数分は覚えていますが、それを超えると忘れていきます。LLMも一度に「この量まで記憶しておける」上限があり、それを超えると古い部分から落ちていきます。