ai_report

Google DeepMind / Google

Era Transformer 以前Transformer 期GPT-3 期RLHF / アラインメント期マルチモーダル期推論モデル期エージェント期ポスト・エージェント期（仮）

記事 2 件

Transformer 期 Google DeepMind / Google学術機関（大学・研究機関） 2017-06-12

Attention Is All You Need 公開（Transformer 提唱）

Vaswani ら（Google Brain / Google Research）による Transformer アーキテクチャ提唱論文。Self-Attention のみで RNN/CNN を不要に。NeurIPS 2017 採択。

ソース: Transformer (deep learning architecture)

Transformer 以前 Google DeepMind / Google学術機関（大学・研究機関） 2013-09-17

word2vec 論文公開（Mikolov ら）

Mikolov らが Google で開発した word2vec が公開され、ニューラル単語埋め込みが現代 NLP の基礎になった。CBOW と Skip-gram の2モデルを提案。

ソース: Word2vec