チャンク

一言で言うと

長文を分割した小さな塊。

もう少し詳しく

長文を分割した小さな塊。IT エンジニアリングの現場で頻繁に登場する概念のひとつで、関連する仕組みやベストプラクティスと合わせて理解しておくと応用が利きます。

RAGパイプラインでは長文ドキュメントをチャンクに分割してベクトル化し、LLMへ渡す入力量を最適化するために使われます。ストリーミングAPIでは受信データをチャンク単位で順次処理し、全体の転送完了を待たずに結果を扱えます。分割サイズや重複幅（オーバーラップ）の設計が検索精度や生成品質に直結するため、適切なチャンク戦略の選択が重要になります。

実務でどう使うか

関連する章

Ch201 で詳しく学べます。