用語集
Attentionあてんしょん
入力の中で「どこに注目すべきか」の重みを計算する仕組み。Transformerの中核となる技術。
入力の中で「どこに注目すべきか」の重みを計算する仕組み。Transformerの中核となる技術。
Attention（アテンション、注意機構）とは、AIが文章などを処理するとき、入力に含まれる要素のうち「どこに強く注目すべきか」を計算し、重み付けする仕組みのことです。Transformerの中核をなす技術で、2017年の論文「Attention Is All You Need」で一躍有名になりました。
たとえば「その犬は疲れていたので、それは座った」という文で「それ」が何を指すかを判断するには、「犬」に強く注目する必要があります。Attentionはこうした単語どうしの関連の強さを数値で計算し、文脈を正しくとらえられるようにします。
特に、同じ文の中の単語どうしの関係を計算するものをSelf-Attention（自己注意）と呼び、これがTransformerの高い理解力の源です。試験頻出の重要語です。