扩散语言模型(dLLM)
模型架构扩散语言模型(dLLM)是一类「不逐字生成、而是像扩散模型一样并行产出整段文本」的语言模型,试图打破自回归模型一个 Token 接一个 Token 的串行瓶颈,代表如 DiffuSpace 开源的 Clover-35B。
主流大语言模型至今仍是「从左到右、一个 Token 接一个 Token」地蹦字,后一个字总得等前一个生成完。扩散语言模型(dLLM)想换个路子:借鉴图像生成里的扩散思想,让模型一次性、并行地「去噪」出整段文本,速度可以快几倍。
2026-11-02,这一方向的实力玩家 DiffuSpace 开源了 Clover-35B-A3B-Preview,官方称在多项评测达到或超过同规模自回归模型,且在智能体编程、工具调用这类难题上也能打——以往大家总调侃 dLLM「别管对不对,你就说快不快」,这次它试图证明「快」和「好」可以共存。
它和 diffusion(扩散图像生成)是同源方法论、和 llm(大语言模型)是替代范式关系。目前仍是前沿探索,若并行生成稳定下来,可能改写推理成本的游戏规则。