Radford ら（OpenAI）が「Improving Language Understanding by Generative Pre-Training」を公開。Transformer デコーダで言語モデルを事前学習 → タスクに fine-tune する GPT 系列の起点。1.17 億パラメータ。
GPT-1 公開 — 生成事前学習 + ファインチューニング枠組み
2018-06-11 · GPT-1 歴史アーカイブ
2018-06-11 · GPT-1 歴史アーカイブ
Radford ら（OpenAI）が「Improving Language Understanding by Generative Pre-Training」を公開。Transformer デコーダで言語モデルを事前学習 → タスクに fine-tune する GPT 系列の起点。1.17 億パラメータ。