ai_report

Transformer 以前

RNN/CNN・word2vec・AlphaGo の時代。基礎モデルの種が撒かれた。

期間: 0001-01-01 〜 2017-06-12

Era Transformer 以前Transformer 期GPT-3 期RLHF / アラインメント期マルチモーダル期推論モデル期エージェント期ポスト・エージェント期（仮）

記事 1 件

Transformer 以前 Google DeepMind / Google学術機関（大学・研究機関） 2013-09-17

word2vec 論文公開（Mikolov ら）

Mikolov らが Google で開発した word2vec が公開され、ニューラル単語埋め込みが現代 NLP の基礎になった。CBOW と Skip-gram の2モデルを提案。

ソース: Word2vec