Entropy-Gated Continuous Bitstream Diffusion — 自己回帰モデルとのギャップを縮める拡散モデル
2026-05-11 · arXiv cs.CL
Proposes Entropy-Gated Continuous Bitstream Diffusion, a new architecture aimed at closing the autoregressive gap in language modeling. The model runs diffusion in a continuous bitstream space, gated by entropy — hinting at renewed competitiveness for diffusion models in language generation, where autoregressive approaches have long dominated.
言語モデリングにおける自己回帰モデルとのギャップを縮める Entropy-Gated Continuous Bitstream Diffusionという新アーキテクチャを提案。連続ビットストリーム空間で拡散プロセスを動かしつつ、エントロピーで生成タイミングをゲートする設計により、長らく自己回帰モデルが優勢だった言語生成領域で拡散モデルが競争力を取り戻す可能性を示す。