ゆめさくエンジニア研究所女性向けエンジニアスクール女性向けエンジニアスクール
ログイン
AI と LLM

LLM のトークンとコンテキストの長さとは何ですか。長い文書はどう扱いますか

トークンはモデルが扱う最小の単位、コンテキストの長さは答えを作るときに見返せる量、と押さえる問い。入りきらない長い文書を、分けて要約する、要る所だけ探して渡す、要る物だけ残す、の 3 つの手で扱うと答えます。

答えてみる

面接官に「LLM のトークンとコンテキストの長さとは何ですか。長い文書はどう扱いますか」と聞かれたつもりで、答えを見る前に自分の言葉で答えます。

声に出して答えた人は「書かずに答えを見る」で開けます。

解説を読む

聞かれ方から関連するコースまで、この問いの解説を全部ここに置いています。

こう聞かれます

  • 「LLM のトークンとは何ですか」
  • 「コンテキストの長さ (コンテキストウィンドウ) とは何ですか。学習したデータとは違うのですか」
  • 「一度に入りきらない長い文書を扱うには、どうしますか」

面接官が見ている点

  • トークンを「文字の数」と同じだと思っていないか
  • コンテキストの長さを、モデルが学んだ知識と混ぜずに、その場の作業の記憶として話せるか
  • 長い文書を、全部入れる以外の手で扱えるか。手ごとの弱点まで言えるか

短い答え

  • トークンはモデルが文を扱う最小の単位で、語や語の一部、文字に当たります。1 トークンが何文字かはモデルと言語で変わるので、正確な数はモデルごとの数える仕組みで数えます。
  • コンテキストの長さは、モデルが答えを作るときに見返せる量で、学習に使ったデータとは別の「作業の記憶」です。指示、渡した資料、会話の履歴、書く答えがこの中に収まる必要があります。
  • 入りきらない文書は、分けて要約してからまとめる、要る所だけを探して渡す (RAG)、会話の古い所は要約して要る物だけ残す、のどれかで扱います。

少し詳しい答え

トークンとは

LLM は文をそのまま読むのではなく、トークンという小さなかたまりに分けて扱います。トークンは語のこともあれば、語の一部や 1 文字、バイトのこともあります。どう分けるかはモデルごとに違い、同じ文でも言語によってトークンの数が変わります。そのため「何文字で何トークン」と決め打ちせず、使うモデルの数える仕組み (API の数える機能や、そのモデル用の道具) で数えます。

多くの API は、読ませた量と書かせた量のトークンで料金が決まる体系です。費用の抑え方は別の問いで扱うので、ここでは「トークンは量の単位で、上限にも料金にも効く」と押さえます。

コンテキストの長さとは

コンテキストの長さは、モデルが 1 回の答えを作るときに見返せる文の量です。人で言えば、机の上に広げて見ながら作業できる資料の量に近く、本棚の知識 (学習に使ったデータ) とは別の物です。

ここに入るのは、システムの指示、渡した資料、それまでの会話、これから書く答えです。合わせて上限を超えると、API がエラーを返したり、仕組みによっては古い所を切り落としたりします。上限の大きさはモデルごとに違うので、使うモデルの説明で確かめます。

長い文書の扱い方

架空の例として、長い契約書の束から「解約の条件」を答える機能を考えます。

1. 分けて要約する
   文書を章ごとに分ける
   → 章ごとに要約する
   → 要約を集めて、もう一度まとめる

2. 要る所だけ探して渡す (RAG)
   文書を前もって小さなかたまりに分けて保存する
   → 質問に近いかたまりを探す
   → 見つけた所だけを渡して答えさせる

3. 要る物だけ残す
   会話が長くなったら、古いやり取りを要約に置きかえる
   → 決まったこと、名前、数字のような要る物だけを残す
  • 分けて要約する全体の要約や、全体を通した傾向を知りたいときに向きます。そのかわり、要約の段で細かい数字や言い回しが落ちることがあり、呼ぶ回数が増えるので時間と費用もかかります
  • 要る所だけ探して渡す「この質問の答えはどこか」を知りたいときに向きます。そのかわり、探す段で正しい所を拾えないと、答えも外れます。文書全体を見ないと分からない問いには弱いです
  • 要る物だけ残すチャットのように会話が続く機能で使います。そのかわり、要約で落とした事が、あとで必要になることがあります

トレードオフ

上限の大きいモデルに全部入れるのは、いちばん作りが単純です。ただし、読ませる量が多いほど費用と待ち時間が増え、関係の無い文が混ざると答えがぶれることもあります。文書が少なく、全体を見ないと答えられない問いなら全部入れる、文書が多く、毎回の質問が一部だけに関わるなら探して渡す、のように、文書の量と問いの形で選びます。

よくある間違い

  • トークンを文字の数と同じだと思う 1 トークンの文字の数はモデルと言語で変わります。数えるときはモデルの仕組みで数えます
  • コンテキストに入れた物を、モデルが覚えて次も使うと思うコンテキストはその回の作業の記憶です。次の呼び出しで使うなら、もう一度渡します
  • 答えの分の長さを数え忘れる上限には書く答えも入ります。資料で上限いっぱいにすると、答えを書く余地がなくなります

深掘りの問い

  • 「会話の履歴は、毎回どれだけ渡しますか」直近のやり取りはそのまま、古い所は要約にし、決まった事だけを残す、と答えます
  • 「文書を小さなかたまり (チャンク) に分けるとき、何に気をつけますか」見出しや段落の切れ目で分け、意味が途中で切れないようにする、と答えます
  • 「上限が大きいモデルがあれば、RAG は要りませんか」毎回全部を読ませると費用と待ち時間が増え、文書が更新されるたびに全部を渡し直すことになるので、文書が多いなら探して渡す形が向く、と答えます

確認日 2026年10月24日

技術面接問題の一覧へ戻る