model:bert

Product 軸: model:bert

Era Transformer 以前 Transformer 期 GPT-3 期 RLHF / アラインメント期マルチモーダル期推論モデル期エージェント期ポスト・エージェント期（仮）

記事 1 件

Transformer 期 Google DeepMind / Google 2018-10-11

BERT 公開 — 双方向 Transformer による NLU 革命

Devlin ら（Google AI Language）が BERT を発表。Masked Language Model + Next Sentence Prediction による双方向事前学習で GLUE / SQuAD などの NLU ベンチマークを軒並み更新。

ソース: BERT (language model)