この章で学ぶこと
第1章でAIの土台を押さえたら、いよいよ本丸の「生成AI」です。生成AI(ジェネレーティブAI)とは、学習したデータをもとに、文章・画像・音声・動画などの新しいコンテンツを「生成」するAIのことです。この第2章では、その生成AIがどんな技術の積み重ねで生まれ、なぜ今これほど自然な文章を作れるようになったのか、そのしくみを歴史の流れに沿って理解します。
キーワードは「Transformer」と「ChatGPT」。現在の生成AIの中核にあるのはTransformerというモデルであり、それを対話に応用して世界的ブームを起こしたのがChatGPTです。この章では、Transformer以前のモデル(GAN・VAE・RNNなど)から始まり、Transformerの登場、ChatGPTの進化、そしてGemini・Claude・Copilotといった主要サービスまでを一本の線でつなぎます。
学習ゴール
- 生成AIの意味と、生成モデルの初期の系譜(ボルツマンマシン・自己回帰モデル)を説明できる
- CNN・VAE・GAN・RNN・LSTMが「何を扱うためのモデルか」を判別できる
- Transformerの中核であるAttention(自己注意)と位置エンコーディングの役割を説明できる
- GPT・BERTなど派生モデルの系譜と違いを判別できる
- ChatGPTの歴史、RLHF・アライメント・ファインチューニング・ハルシネーション・マルチモーダルを説明できる
- Gemini・Claude・Copilotの提供元と特徴を判別できる
試験では: 第2章は用語の意味に加え、「どのモデルが何を生成/処理するか」の対応関係がよく問われます。特にTransformer・Attention・RLHF・ハルシネーションは頻出。似たモデル(VAEとGAN、GPTとBERT)は対比で覚えるのが得点のコツです。
1. 生成モデルの誕生まで
1.1 生成AIとは
生成AI(ジェネレーティブAI)とは、大量のデータからパターンを学び、それをもとに新しいデータ(文章・画像・音声・動画など)を作り出すAIです。従来のAIの多くは「これは猫か犬か」を判別する識別(分類)が中心でしたが、生成AIは「猫の画像そのものを描く」ように、コンテンツを生成する点が決定的に異なります。
生成AIは突然生まれたわけではなく、ディープラーニングの発展のなかで生まれたいくつもの生成モデルの積み重ねの上に成り立っています。まずはその系譜をたどります。
1.2 初期の生成モデル
- ボルツマンマシン: データの背後にある確率的な分布を学ぶ、初期のニューラルネットワークの一種。学習の計算量が大きいという課題がありました。これを一部のつながりに限定して学習しやすくしたのが制約付きボルツマンマシン(RBM)です。生成モデルの原型のひとつとされます。
- 自己回帰モデル(オートリグレッシブモデル): 直前までの出力を手がかりに、次の要素を1つずつ予測して並べていく方式。文章なら「次に来る単語」を順に予測していきます。後述するGPTもこの自己回帰の考え方を受け継いでいます。
1.3 画像を扱うモデル — CNN
CNN(Convolutional Neural Network、畳み込みニューラルネットワーク)は、画像認識で大きな成果を上げたモデルです。畳み込みという処理で、画像の一部分ずつから「輪郭」「模様」といった特徴を段階的に抽出します。生成AIそのものというより、画像を「理解する」土台技術として、画像生成モデルの内部でも広く使われます。
1.4 VAEとGAN — 画像を「生み出す」二大モデル
画像などを生成するモデルとして、試験で対比されるのがVAEとGANです。
- VAE(Variational Autoencoder、変分自己符号化器): データをエンコーダで潜在ベクトル(データの特徴を圧縮した内部表現)に変換し、デコーダで元に戻すしくみ。この潜在空間から確率的にサンプリング(ノイズ=ゆらぎを含む)することで、学習データに似た新しいデータを生成できます。
- GAN(Generative Adversarial Network、敵対的生成ネットワーク): 生成器(Generator)と識別器(Discriminator)を競わせるしくみ。生成器は本物そっくりの偽データを作ろうとし、識別器はそれが本物か偽物かを見破ろうとします。両者が敵対的に学習を繰り返すことで、生成器はどんどんリアルなデータを作れるようになります。
絶対暗記: VAE=エンコーダ/デコーダと潜在ベクトルで生成。GAN=生成器と識別器を「競わせて」生成。「敵対的(Adversarial)」がGANの目印です。
1.5 時系列・文章を扱うモデル — RNNとLSTM
文章や音声のように「順番」が意味を持つシーケンスデータ(時系列データ)を扱うのが次のモデルです。
- RNN(Recurrent Neural Network、回帰型ニューラルネットワーク): 隠れ層の出力を次の時点の入力へ戻すリカレント層を持ち、前の情報を記憶しながら順に処理します。ただし系列が長くなると、前半の情報が薄れて伝わりにくくなる弱点がありました。
- LSTM(Long Short-Term Memory、長短期記憶): RNNの弱点を改良し、「覚えておく情報」と「忘れる情報」を制御するしくみを加えたモデル。長い系列でも重要な情報を保持できるようになり、翻訳や文章生成で使われました。
ここまでのモデルを整理すると次のようになります。
| モデル | おもに扱う対象 | 特徴 |
|---|
| ボルツマンマシン | 確率分布 | 初期の生成モデルの原型 |
| 自己回帰モデル | 系列(文章など) | 次の要素を1つずつ予測 |
| CNN | 画像 | 畳み込みで特徴抽出 |
| VAE | 画像など | エンコーダ/デコーダ+潜在ベクトル |
| GAN | 画像など | 生成器と識別器を競わせる |
| RNN | 系列(文章・音声) | 前の情報を記憶しながら処理 |
| LSTM | 長い系列 | 長期記憶を保持できるRNNの改良版 |
引っかけ: RNN・LSTMは「順番のあるデータ(文章・音声)」、CNNは「画像」が得意、と対応づけて覚えます。次に登場するTransformerは、このRNN/LSTMの弱点を根本から解決しました。
Transformer(トランスフォーマー)は、2017年にGoogleの研究者らが発表した「Attention Is All You Need」という論文で提案されたモデルで、現在の生成AIのほぼすべての中核になっています。GPTもBERTも、Geminiも、Transformerを基礎にしています。
RNNやLSTMは単語を「順番に1つずつ」処理するため、長い文章では計算に時間がかかり、離れた単語どうしの関係もとらえにくいという弱点がありました。Transformerはこの処理の仕方を根本から変え、文全体の単語をまとめて並列に処理できるようにしました。これにより学習の高速化と、長い文脈の理解の両立を実現しました。
2.2 Attention(注意機構)
Transformerの心臓部がAttention(Attention Mechanism、注意機構)です。これは、ある単語を処理するとき、文中のどの単語に「注目」すべきかを重みづけするしくみです。
たとえば「その犬は疲れていたので、それは座った」という文で「それ」が何を指すかを判断するには、「犬」に強く注目する必要があります。Attentionは、こうした単語どうしの関連の強さを計算します。特に、同じ文の中の単語どうしの関係を計算するものを自己注意(Self-Attention、セルフアテンション)と呼びます。この自己注意こそがTransformerの理解力の源です。
絶対暗記: 論文タイトルどおり「Attention(注意機構)」がTransformerの核心。文中の単語どうしの関係を見るのがSelf-Attention(自己注意)です。
2.3 位置エンコーディング
単語をまとめて並列処理すると、そのままでは「単語の順番」の情報が失われてしまいます。「犬が人をかむ」と「人が犬をかむ」は語順で意味が変わるため、順番は重要です。そこでTransformerは位置エンコーディング(Positional Encoding)というしくみで、各単語に「文中での位置」の情報を付け加えます。これにより、並列処理をしながらも語順を正しく扱えます。
Transformer全体のアーキテクチャ(構造)は、入力を理解する部分(エンコーダ)と出力を生成する部分(デコーダ)から成りますが、後述のGPTはこのうちデコーダ側を、BERTはエンコーダ側を主に活用しています。
Transformerの登場後、それを土台にした多くのモデルが生まれました。代表的なのがGPT系とBERT系です。
- GPT(Generative Pre-trained Transformer、OpenAI): Transformerのデコーダを活用し、次の単語を予測して文章を生成することに特化。自己回帰的に文章を作るのが得意で、ChatGPTの基盤です。
- BERT(Bidirectional Encoder Representations from Transformers、Google): Transformerのエンコーダを活用し、文の意味理解に強いモデル。文章生成より、検索・分類・質問応答などの理解タスクで力を発揮します。2つの方法で事前学習します。
- MLM(Masked Language Model、マスク言語モデル): 文中の一部の単語を隠し、それを前後両方の文脈から当てさせる
- NSP(Next Sentence Prediction、次文予測): 2つの文が連続しているかどうかを予測させる
BERTから派生した改良モデルもシラバスに挙げられています。
- RoBERTa: BERTの学習方法を見直し、NSPをやめて大量データで学習し直すなどして精度を高めたモデル。
- ALBERT: パラメータを共有するなどしてモデルを軽量化・効率化したBERTの派生モデル。
引っかけ: GPTは「生成(Generative)」が得意でデコーダ系、BERTは「理解」が得意でエンコーダ系。方向性が逆であることを押さえます。BERTの事前学習=MLMとNSP、はセットで頻出です。
3. ChatGPT
3.1 ChatGPTとは
ChatGPTは、OpenAIが2022年11月に公開した対話型の生成AIサービスです。GPTモデルを対話向けに調整したもので、人間と自然に会話するように質問に答えたり、文章を作成したりできます。公開後わずか2か月で利用者数が1億人を超えたとされ、生成AIブームの火付け役となりました。
ChatGPTのようなモデルは、大量の文章を学習して言葉の使い方を身につけたLLM(大規模言語モデル)であり、その中核技術は自然言語処理(NLP、Natural Language Processing)です。
3.2 対話型AIの変遷とGPTの歴史
GPTは版を重ねるごとに、学習データとパラメータ(モデル内部の調整可能な値。多いほど表現力が高まる傾向)を拡大してきました。細かな数値の暗記より、流れと各版の位置づけを押さえます。
| モデル | 位置づけ |
|---|
| GPT-1 | Transformerを使った初代。事前学習+ファインチューニングの有効性を示した |
| GPT-2 | 規模を拡大し、より自然な文章生成が可能に |
| GPT-3 | パラメータを大幅拡大した大規模言語モデル。多様なタスクに対応 |
| GPT-3.5 | GPT-3を対話向けに改良。ChatGPT初期の基盤となった |
| GPT-4 | 精度が向上し、画像も扱えるマルチモーダルに対応 |
GPT-3.5への流れで重要なのがInstructGPTです。これは人間の指示(インストラクション)に沿って答えるよう調整したモデルで、次に述べるRLHFによって「人が求める答え」を返せるようにした点が、ChatGPTの使いやすさにつながりました。学習に使う大量の文章のまとまりをデータセットと呼びます。
3.3 RLHF — 人間のフィードバックによる強化学習
RLHF(Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習)は、AIの回答に人間が「良い/悪い」の評価を与え、その評価を報酬として強化学習させる手法です。これにより、単に文法的に正しいだけでなく、人間にとって役立ち・自然で・安全な回答を返せるようになります。ChatGPTが「使える」AIになった最大の要因のひとつです。
3.4 アライメントとファインチューニング
- アライメント(Alignment): AIの振る舞いを人間の意図・価値観・倫理に合わせること。有害・不適切な出力を避け、人が望む方向に調整する取り組み全般を指します。RLHFはアライメントを実現する代表的な手段です。
- ファインチューニング(Fine-tuning): すでに事前学習したモデルを、特定の目的や分野のデータで追加学習し、専門的に調整すること。ゼロから学ばせるより少ないデータで用途に合ったモデルを作れます。
3.5 ハルシネーション
ハルシネーション(Hallucination、幻覚)とは、生成AIが事実と異なる内容を、もっともらしく自信ありげに出力してしまう現象です。AIは「正しい知識」ではなく「それらしく続く言葉」を確率的に生成するために起こります。存在しない論文や誤った数値を作り出すこともあり、生成AIを使ううえで最も注意すべき弱点です。出力を鵜呑みにせず、人間が事実確認(ファクトチェック)することが欠かせません。
絶対暗記: ハルシネーション=もっともらしいウソを出力する現象。RLHF=人間の評価を報酬に学習。アライメント=人間の価値観に合わせること。この3つは第2章の最頻出です。
3.6 マルチモーダルと拡張機能
マルチモーダル(Multimodal)とは、テキストだけでなく画像・音声・動画など複数の種類(モダリティ)の情報を扱えることです。GPT-4以降、画像を読み取って説明したり、音声で対話したりできるようになりました。
ChatGPTには、対話以外の作業を担う機能・派生モデルも加わっています。細かな仕様は変化するため、名称と大まかな役割を押さえます。
| 名称 | 大まかな位置づけ |
|---|
| Code Interpreter | コードを実行してデータ分析・グラフ作成などを行う機能 |
| GPTs | 目的に合わせてカスタマイズした独自ChatGPTを作れる機能 |
| GPT-4o | テキスト・音声・画像をまとめて扱うマルチモーダルモデル(oはomni) |
| o1(GPT-o1) | 答える前に「考える」推論に強いとされるモデル |
| o3(GPT-o3) | o1の系譜を進めた推論重視のモデル |
| o4系(o4-mini など) | 推論系モデルのさらなる発展系(2026年時点では o4-mini が公開) |
| GPT-4.1 | GPT-4系を改良した位置づけのモデル |
| GPT-5 | GPT系の新しい世代として位置づけられるモデル |
| Sora | テキストから動画を生成するモデル |
| Operator | Webブラウザなどを操作して作業を代行するエージェント的機能 |
| Codex | プログラムコードの生成・補助に特化したモデル |
| Image Generation | テキストから画像を生成する機能 |
補足: 最新モデルは名称と「テキスト/画像/動画/コード/推論のどれに強いか」の対応だけ押さえれば十分です。細かな性能数値は問われにくく、また頻繁に更新されます。o系は「推論」、Soraは「動画」、Codexは「コード」と結びつけましょう。
4. その他の主要生成AI
ChatGPT(OpenAI)以外にも、大手IT企業が対話型の生成AIを提供しています。提供元とセットで覚えます。
| サービス | 提供元 | 特徴 |
|---|
| Gemini | Google | Googleが開発したマルチモーダル対応の生成AI。検索やGoogleの各種サービスとの連携が特徴 |
| Claude | Anthropic | Anthropicが開発。安全性やアライメントを重視し、長い文章の扱いや自然な文章生成に強いとされる |
| Copilot | Microsoft | Microsoftが提供。WindowsやOffice(Word・Excel等)に組み込まれ、業務のなかで使える点が特徴 |
絶対暗記: Gemini=Google、Claude=Anthropic、Copilot=Microsoft。提供元との組み合わせを問う出題が定番です。
まとめ
- 生成AIは学習データをもとに新しいコンテンツ(文章・画像・音声・動画)を生み出すAI。従来の「識別」に対し「生成」が特徴
- 初期の生成モデルにボルツマンマシンや自己回帰モデル。画像はCNN、生成はVAE(エンコーダ/デコーダ+潜在ベクトル)とGAN(生成器と識別器を競わせる)
- 系列(文章・音声)はRNN、その長期記憶を改良したのがLSTM
- Transformerが現在の生成AIの中核。核心はAttention(自己注意=Self-Attention)、語順は位置エンコーディングで扱う
- 派生モデルはGPT(生成・デコーダ系)とBERT(理解・エンコーダ系、MLM+NSPで事前学習)。改良版にRoBERTa・ALBERT
- ChatGPTはGPTを対話向けに調整したサービス。GPT-1→2→3→3.5→4と規模を拡大し、マルチモーダルへ
- RLHFは人間の評価を報酬に学習する手法。アライメントは人間の価値観に合わせること。ハルシネーションはもっともらしい誤りを出力する現象で最重要の弱点
- 最新モデルはGPT-4o・o1/o3/o4系(推論)・GPT-4.1・GPT-5・Sora(動画)・Codex(コード)・Operator・Image Generationなど
- その他の主要生成AIはGemini(Google)・Claude(Anthropic)・Copilot(Microsoft)
