コンテキスト長

一言で言うと

1 度に入力できるトークンの上限。

もう少し詳しく

1 度に入力できるトークンの上限。IT エンジニアリングの現場で頻繁に登場する概念のひとつで、関連する仕組みやベストプラクティスと合わせて理解しておくと応用が利きます。

LLM（大規模言語モデル）は入力を「トークン」という単位に分割して処理します。トークンはおおよそ単語や文節に相当し、日本語では1文字が1〜2トークン程度になります。Transformerアーキテクチャでは全トークン間のAttention計算が必要なため、扱えるトークン数には上限が設けられています。代表的なモデルの上限値として、GPT-4oは約128,000トークン、Claude 3.5 Sonnetは約200,000トークンが挙げられます。

実務でどう使うか

関連する章

Ch198 で詳しく学べます。