Transformer 期

"Attention Is All You Need" 公開から GPT-2 まで。系列モデリングの土台。

期間: 2017-06-12 〜 2020-06-11

記事 1 件

Transformer 期 Google DeepMind / Google学術機関（大学・研究機関） 2017-06-12

Vaswani ら（Google Brain / Google Research）による Transformer アーキテクチャ提唱論文。Self-Attention のみで RNN/CNN を不要に。NeurIPS 2017 採択。