NVIDIA 研究团队近日正式开源 LongLive 2.0，这是一套以 NVFP4（4-bit 浮点）量化为核心的长视频生成基础设施，从训练到推理全链路打通。 根据官方数据，搭载5B参数模型在GB200上可达45.7FPS的推理速度，端到端生成64秒视频仅需36.3秒，相比BF16基线的112.9秒快了3倍以上。 内存占用方面，NVFP4 KV Cache使峰值VRAM降至19.4GB，让消费级显卡也有机会运行长视频生成任务。
这个项目源自英伟达的LongLive系列，第一代在2026年1月被ICLR 2026接收，着重于实时互动式长视频生成。 LongLive 2.0 则将重心从「算法」转向「基础设施」，试图解决长视讯生成在实际部署时面临的速度与内存瓶颈。
NVFP4 量化：从 20GB 降到 10GB 以下
LongLive 2.0 最核心的技术突破在于NVFP4量化。 传统视频生成模型使用BF16（16-bit浮点）运算，一个5B参数模型的VRAM需求约20GB，加上KV Cache和视频序列长度的增长，很快就会超出单张消费级显卡的容量。 LongLive 2.0通过NVFP4的W4A4（权重4-bit、启动值4-bit）推理管线，将模型压缩到4-bit精度，VRAM占用降至10GB以下。
量化后的质量损失控制得相当好。 根据官方公布的VBench评测，LongLive 2.0在短视频基准上拿到85.06分，与BF16基线的差距在可接受范围内。 此外，团队进一步优化了NVFP4推理路径，加入融合的Triton RoPE/adaLN核心、减少KV Cache同步开销、原地量化KV Cache更新等改进，整体吞吐量再提升18.6%。
序列平行训练：让长视讯微调不再爆显存
长视频的自回归（AR）训练一直是内存消耗大户。 模型需要同时处理「干净的历史帧」和「带噪声的目标帧」序列，随着视讯长度增加，GPU 内存、VAE 潜在编码、DiT 矩阵乘法的消耗都会急剧攀升。 LongLive 2.0 引入了Balanced Sequence Parallel（Balanced SP）机制，将序列沿时间轴切分到多张GPU上，每张卡同时持有来自同一时间区块的干净与噪声潜在张量。
这种设计有两个好处。 第一，它与 teacher-forcing 的注意力屏蔽自然匹配，每张卡都能计算有效的损失梯度。 第二，VAE 编码也可以分片进行，避免单卡瓶颈。 搭配 NVFP4 精度，64 秒 AR 训练相比 BF16 基线加速 2.1 倍，峰值内存占用降至 BF16 的 0.69 倍。
多镜头连续生成与异步解码
LongLive 2.0 支持多镜头平滑衔接的长视频自动生成。 通过 Multi-shot Attention Sink 机制，模型在切换镜头时能保持上下文连贯性，避免传统方法中镜头切换时出现的画面断裂或风格跳跃。
推理端的另一项优化是异步解码（Async Decoding）。 传统流程中，VAE 解码会阻塞下一帧的生成管线。 LongLive 2.0 将 VAE 解码放到独立的线程上，与 DiT 推理平行运作，减少了管线闲置时间。 加上序列平行推理与FP8 PTQ（训练后量化）支持，从单卡到多卡都能高效运行。
与竞品的差异：基础设施思维vs模型思维
目前开源视频生成领域的主要玩家包括腾讯的 HunyuanVideo、智谱的 CogVideoX，以及阿里巴巴的 Wan 系列。 这些项目的重心在于模型架构创新与视频质量提升，而 LongLive 2.0 的定位不同，它是一个「基础设施层」，解决的是如何高效训练和部署长视讯模型的问题。
LongLive 2.0 本身基于 Wan2.2-TI2V-5B 模型进行AR微调，并在5月30日新增了对 Wan2.2 的I2V（图生视讯）AR teacher-forcing 训练与 DMD 蒸馏支持。 这代表开发者可以将 LongLive 2.0 的 NVFP4 管线套用到不同的基础模型上，而不是绑定单一模型架构。
实际部署表现
以下是 LongLive 2.0 在不同视频长度下的端到端生成时间对比：
- 16 秒视频：BF16 基线 26.6 秒 → LongLive 2.0（2-step）11.2 秒
- 32 秒视频：BF16 基线 53.2 秒 → LongLive 2.0（2-step）19.2 秒
- 64 秒视频：BF16 基线 112.9 秒 → LongLive 2.0（2-step）36.3 秒
在GB200上的极限测试中，NVFP4推理可达45.7FPS; 标准5B模型推理则为24.8FPS，VBench评分85.06。
研究团队与论文背景
LongLive 2.0的研究团队阵容庞大，由15位研究员共同完成，通讯作者包括NVIDIA的Song Han与Enze Xie。 Song Han 是 MIT 电机工程教授，同时在 NVIDIA 担任研究科学家，以模型压缩与高效推理领域的研究闻名，曾提出 Lottery Ticket Hypothesis 等重要理论。 Enze Xie则是英伟达的资深研究员，主导了Sana系列高效影像生成模型的开发。
论文于2026年5月发表在arXiv（编号2605.18739），第一代LongLive则在2026年1月被ICLR 2026接收。 从时间线来看，NVIDIA 在不到半年内就完成了从 1.0 到 2.0 的迭代，速度相当快。 GitHub 仓库截至7月11日已累积2,437颗Star与229个Fork，社群反应热烈。
对开发者的实际意义
LongLive 2.0 采用完全开源策略，从模型权重、训练代码到推理管线全部公开。 开发者可以通过一行指令取得所有代码。 项目同时提供完整的文件、Demo 页面与示范视频，降低了技术门槛。git clone --single-branch --branch main --depth 1 https://github.com/NVlabs/LongLive.git
对于有意在本地部署长视频生成的开发者而言，NVFP4 量化带来的内存节省是决定性因素。 5B模型从20GB降到10GB以下，意味着一张RTX 4090（24GB VRAM）就能同时加载模型与KV Cache，进行720p分辨率的长视频生成。 这在过去需要 A100 或 H100 等数据中心级显卡才能做到。
此外，LongLive 2.0在7月8日新增了FP8推理支持（W8A8），提供了另一种精度与速度的平衡选项。 对于拥有较新显卡（如 RTX 5090）的用户，FP8 可能在不牺牲太多品质的情况下提供更好的兼容性。
结语
LongLive 2.0 代表英伟达在视频生成领域的一次战略布局。 与其推出另一个视频生成模型，NVIDIA选择从基础设施层切入，解决开发者在长视讯生成时最头痛的内存与速度问题。 NVFP4 量化让 5B 模型的 VRAM 需求降到消费级显卡可负担的范围，序列平行训练让长视讯微调不再需要动辄数十张 GPU。 对开发者而言，这是一套可以直接拿来用的工具链，而不是又一个需要大量适配工作的研究模型。
