用語集
n-gramモデルえぬぐらむもでる
直前のn個の単語だけを手がかりに次の単語を予測する、古典的な統計的言語モデル。
直前のn個の単語だけを手がかりに次の単語を予測する、古典的な統計的言語モデル。
n-gramモデルとは、直前のいくつか（n個）の単語だけを手がかりに、次に来る単語を予測する古典的でシンプルな統計的言語モデル（LM）です。生成AIの言語モデルの原点にあたる考え方です。
たとえば「良い天気」という2語の並びが多く出てきたデータから、「良い」の次に「天気」が来やすい、と統計的に予測します。しくみが分かりやすい反面、参照するのが直前の数語だけなので、長い文脈を考慮できないという弱点があります。
この弱点を克服するため、ニューラルネットワークで広い文脈をとらえるニューラル言語モデルが登場し、さらにTransformer・LLMへと発展しました。試験では、言語モデルの発展の流れ「n-gram → ニューラル言語モデル → LLM」の出発点として押さえておくとよい用語です。