用語集
Transformerとらんすふぉーまー
Attentionを中核とする、現在の生成AIのほぼすべての基礎となっているモデル。
Attentionを中核とする、現在の生成AIのほぼすべての基礎となっているモデル。
Transformer（トランスフォーマー）とは、2017年にGoogleの研究者らが論文「Attention Is All You Need」で発表したモデルで、現在の生成AIのほぼすべての基礎になっています。GPTもBERTもGeminiも、Transformerを土台にしています。
中核となるのがAttention（注意機構）、特に文中の単語どうしの関係を計算するSelf-Attention（自己注意）です。これにより、文の中の離れた単語の関連も的確にとらえられます。全体構造は、入力を理解するエンコーダと出力を生成するデコーダから成り、GPTはデコーダ側を、BERTはエンコーダ側を主に活用しています。
それ以前のRNN・LSTMに比べて並列処理がしやすく学習を効率化できたことも普及の理由です。試験では最重要語の一つで、「Attentionを中核とする生成AIの基礎」と押さえます。