Kaplan ら（OpenAI / Johns Hopkins）による Neural Language Model のスケーリング則。性能がパラメータ数・データ量・計算量に対しべき乗則で改善することを実証し、その後の大規模化（GPT-3 以降）の理論的根拠になった。
Scaling Laws for Neural Language Models 公開（Kaplan ら）
2020-01-23 · Neural scaling law 歴史アーカイブ
2020-01-23 · Neural scaling law 歴史アーカイブ
Kaplan ら（OpenAI / Johns Hopkins）による Neural Language Model のスケーリング則。性能がパラメータ数・データ量・計算量に対しべき乗則で改善することを実証し、その後の大規模化（GPT-3 以降）の理論的根拠になった。