AI上級
RNN / Transformer
一言で言うと
RNNは順序データ（テキスト、時系列）を逐次処理するモデル。
もう少し詳しく
一言で言うと
RNNは順序データ（テキスト、時系列）を逐次処理するモデル。Transformerは自己注意機構により学習時に系列全体を並列処理でき、GPTやBERTの基盤技術です（ただし生成時はトークンを逐次的に出力します）。
もう少し詳しく
RNNは順序データ（テキスト、時系列）を逐次処理するモデル。Transformerは自己注意機構により学習時に系列全体を並列処理でき、RNNより大規模な訓練に適しています。GPTやBERTの基盤技術であり、生成時はトークンを逐次的に出力します。
生成 AI / LLM の活用が広がる中で、エンジニアだけでなく企画・マーケ職にも知っておきたい用語です。プロンプト設計やモデル選定の判断材料にもなります。