用語集
自己回帰モデルじこかいきもでる
直前までの出力を手がかりに、次の要素を1つずつ予測して並べていく生成モデル。GPTの基礎。
直前までの出力を手がかりに、次の要素を1つずつ予測して並べていく生成モデル。GPTの基礎。
自己回帰モデル（オートリグレッシブモデル、autoregressive model）とは、直前までの出力を手がかりに、次の要素を1つずつ予測して並べていく方式の生成モデルです。
文章生成なら「これまでの単語列」から「次に来る単語」を予測し、それをまた入力に加えて次の語を予測する、という処理を繰り返します。この積み重ねで文章全体を生成します。現在の大規模言語モデルの中心であるGPTも、この自己回帰の考え方を受け継いでいます。ボルツマンマシンと並び、生成モデルの初期の系譜としてシラバスに登場します。「1つずつ順に予測して生成する」点が、この方式の特徴として問われます。