用語集
プレトレーニングぷれとれーにんぐ
大量の汎用データでモデルに基礎的な能力を身につけさせる事前学習の段階。
大量の汎用データでモデルに基礎的な能力を身につけさせる事前学習の段階。
プレトレーニング（pre-training、事前学習）とは、大量の汎用的なデータを使って、モデルにまず基礎的で幅広い能力を身につけさせる学習段階です。大規模言語モデルなら、膨大な文章から言葉の使い方や知識を広く学びます。
この段階で得られたモデルを土台に、特定用途のデータで追加学習して調整するのがファインチューニングです。「基礎を広く学ぶ事前学習 → 用途に合わせて微調整」という2段階の流れとして整理すると分かりやすく、学習済みモデルや転移学習と関連づけて出題されます。生成AIの高性能化を支える基本的な学習の枠組みです。