Self-Attention

一言で言うと

Transformer の中核となる仕組み。

もう少し詳しく

入力系列の各トークンが、Query・Key・Value という 3 つのベクトルに変換され、Query と Key の内積でアテンションスコアを計算する仕組みです。スコアをソフトマックスで正規化した重みを Value に掛け合わせることで、各位置が系列内の全位置から関連情報を重み付きで集約できます。これにより「文脈の中でどの単語が重要か」を動的に学習できるため、長距離の依存関係も捉えられます。

生成 AI / LLM の活用が広がる中で、エンジニアだけでなく企画・マーケ職にも知っておきたい用語です。プロンプト設計やモデル選定の判断材料にもなります。

実務でどう使うか

関連する章

Ch194, Ch196 で詳しく学べます。