用語集
ニューラル言語モデルにゅーらるげんごもでる
ニューラルネットワークを用いて、単語の並びやすさ（次の語の確率）を学習する言語モデル。
ニューラルネットワークを用いて、単語の並びやすさ（次の語の確率）を学習する言語モデル。
ニューラル言語モデルは、ニューラルネットワークを用いて言語をモデル化したものです。言語モデルとは、文中の単語の並びから「次にどの単語が来やすいか」を確率的に予測する仕組みで、これをニューラルネットワークで実現したものを指します。
単語を数値ベクトルに変換する埋め込み（word embedding）を使い、文脈から次の語を予測する形で学習します。回帰型ニューラルネットワーク（RNN）や長短期記憶（LSTM）を経て、Transformerを基盤とする大規模言語モデル（LLM）へと発展しました。従来の統計的手法に比べ、長い文脈や意味の関係を扱える点が特徴です。