用語集
BERTばーと
Googleが開発したTransformerベースの言語モデル。文脈を双方向に読み、文章の理解に強い。
Googleが開発したTransformerベースの言語モデル。文脈を双方向に読み、文章の理解に強い。
BERT（Bidirectional Encoder Representations from Transformers）とは、Googleが2018年に発表したTransformerベースの言語モデルで、文章の意味を理解するタスクに強いのが特徴です。
最大の特徴は「双方向（Bidirectional）」に文脈を読む点です。文の前後の両方向から単語を見て意味をとらえるため、検索や文書分類などの理解系タスクで高い性能を発揮します。学習には、文の一部を隠して当てさせるMLM（マスク言語モデル）などが使われます。
よく対比されるのがGPTです。BERTはTransformerのエンコーダ側を活用し「理解」に強く、GPTはデコーダ側を活用し「生成」に強い、という違いを対で覚えるのが試験のコツです。派生モデルにRoBERTa・ALBERTがあります。