GPT-1 公開 — 生成事前学習 + ファインチューニング枠組み
Radford ら（OpenAI）が「Improving Language Understanding by Generative Pre-Training」を公開。Transformer デコーダで言語モデルを事前学習 → タスクに fine-tune する GPT 系列の起点。1.17 億パラメータ。
ソース: GPT-1
model:gpt-1
Product 軸: model:gpt-1
Product 軸: model:gpt-1
Radford ら（OpenAI）が「Improving Language Understanding by Generative Pre-Training」を公開。Transformer デコーダで言語モデルを事前学習 → タスクに fine-tune する GPT 系列の起点。1.17 億パラメータ。
ソース: GPT-1