AlphaGo が Lee Sedol を破る — AI による囲碁制覇
DeepMind の AlphaGo がトップ棋士 Lee Sedol を 4-1 で破る歴史的勝利（韓国・ソウル）。Monte Carlo Tree Search + 深層学習 + 強化学習の組み合わせで、難題と考えられていた囲碁を制覇し AI 一般の注目度を一気に高めた。
Transformer 以前
RNN/CNN・word2vec・AlphaGo の時代。基礎モデルの種が撒かれた。
期間: 0001-01-01 〜 2017-06-12
記事 6 件
ResNet 論文公開 — 残差接続で超深層 NN を実現（He ら）
Microsoft Research Asia の He Kaiming らが Residual Network (ResNet) を提案。skip connection で 152 層の超深層 CNN を学習可能にし、ImageNet で人間超え精度を達成。以後の深層 NN 設計の標準に。
Seq2Seq 論文公開 — 機械翻訳に深層学習が本格適用
Sutskever・Vinyals・Le（Google）による Sequence to Sequence Learning。LSTM ベースのエンコーダ・デコーダ構造で機械翻訳の SOTA を更新し、後の Attention / Transformer への道筋を作った。
ソース: Seq2seq
GAN（敵対的生成ネットワーク）論文公開（Goodfellow ら）
Goodfellow ら（モントリオール大）が Generative Adversarial Network (GAN) を提案。生成器と識別器を min-max で対立させる新枠組みで、その後の画像生成研究の礎になった。
word2vec 論文公開（Mikolov ら）
Mikolov らが Google で開発した word2vec が公開され、ニューラル単語埋め込みが現代 NLP の基礎になった。CBOW と Skip-gram の2モデルを提案。
ソース: Word2vec
AlexNet が ImageNet で圧勝 — 深層学習復活の象徴
Krizhevsky・Sutskever・Hinton（トロント大）が GPU 学習した CNN 「AlexNet」が ImageNet ILSVRC 2012 でトップ 5 エラー率を 25.8% → 15.3% に劇的改善。深層学習の再ブレイクのきっかけ。
ソース: AlexNet