[ 研究 ]
Dyna-2：世界—动作模型的百万小时缩放定律
一个在超过 1,000,000 小时人类视频上完成预训练的世界—动作模型，在人类与机器人评估中均呈现出缩放定律——以及这些成果背后的诸多技术洞见。
分类：
研究
作者：
Dyna Robotics
日期：
2026 年 8 月
阅读时长：
31 分钟
目录
7 个章节
图 1. Dyna-2 是一个在超过一百万小时人类视频数据上预训练的世界—动作模型（WAM）。 它在留出的人类数据上呈现缩放定律，并首次证明了人类到机器人的迁移缩放定律确实存在。拼图中的每段视频均由 Dyna-2 自行生成。
留出的人类数据
零样本机器人数据（预训练中不含机器人数据）
图 2. Dyna-2 世界—动作模型在从 1,000 小时到 1,000,000 小时的阶梯式人类视频数据上训练时呈现出的缩放定律。 Dyna-2 不仅在留出的人类数据上呈现缩放趋势，还在训练期间从未见过的机器人数据上展现出人类到机器人迁移缩放定律的涌现。
机器人学习领域已经探索了多种预训练数据来源，其中最突出的是遥操作和专用采集设备。两者都能产生有价值、带动作标签的数据，我们自己也在采集并用于训练。但这类数据的每一个小时都必须专门生产，因此仅靠它们能够支撑的预训练规模存在上限。从第一性原理出发，我们认为答案应当由目标本身推导出来：通用机器人最终应能完成目前由人类执行的任何具有经济价值的任务。因此，合适的预训练数据源应当是人类执行这些任务时的传感器记录（例如视频）。这种数据已经以近乎无上限的规模存在，并且恰好包含操作策略需要学习的内容：场景如何演化、物体如何响应接触，以及手如何与物体交互。尽管目前从人类数据中学习仍面临具身差距，但我们相信，只要能够建立任何一种迁移缩放定律（即人类数据上的缩放定律意味着机器人数据上也存在缩放定律），此后的技术路径就会相对清晰：采集更多带传感信息的人类数据，同时让机器人的形态更接近人类。今天，我们发布全新的旗舰世界—动作模型（WAM）Dyna-2 [4]，它在超过一百万小时的第一视角人类视频上完成预训练——相当于约 170 年不间断的清醒体验。Dyna-2 建立了若干新颖且出人意料的缩放定律，直接回应了上述问题。具体而言，我们发现：
世界—动作模型的缩放定律可延伸至一百万小时人类数据；
我们首次发现了人类到机器人的迁移缩放定律；也就是说，预训练中加入更多人类数据，能够改善模型在训练期间从未见过的机器人数据上的离线预测；最后，
数据与训练目标都会影响缩放定律；世界建模以及在视频数据上扩展规模，是跨具身缩放迁移涌现的关键。
此外，除了上述离线缩放定律结果，我们还发现，这一趋势会在后训练阶段延续到真机性能。预训练期间完全不接触机器人数据，只在后训练中使用数小时机器人数据，后训练后的 Dyna-2 模型就能在双臂平行夹爪平台、半人形平台和灵巧手平台上完成任务，其相对性能与离线机器人缩放定律一致。一个尤其显著的例子是：仅用 10 分钟遥操作数据，就足以微调 Dyna-2，使其用两只五指机器人手打开瓶盖。除缩放定律相关结果外，我们还展示了 Dyna-2 的多项新能力，包括更强的鲁棒性、精确度、指令遵循、达到生产级的零样本性能，以及单步视频生成。总体而言，Dyna-2 相比我们此前的模型有显著提升。同时，它也为回答该领域的一些开放问题提供了有力的经验证据，并可成为未来研究的重要参考。
图 3. Dyna-2 架构图。
在早期架构探索中，我们发现 DiT 风格的视频扩散架构将大部分时间推理能力保留在浅层 [1]。因此，我们有意让动作 Transformer 采用更浅的深度，并仅在浅层与视频流汇合。实验表明，这种设计在不牺牲性能的情况下显著降低了模型的实时推理延迟。Dyna-2 使用流匹配（flow matching）[[18](#ref-18), 19] 训练模型。具体来说，令 cc 表示条件上下文（历史帧、本体感知和语言指令），zz 表示未来视频的潜变量，aa 表示未来动作块。遵循标准流匹配设定，模型沿直线路径将各模态的真实样本扰动至噪声：
zt=tz+(1−t)εz,at=ta+(1−t)εa,εz,εa∼N(0,I)z_t = tz + (1-t)\varepsilon_z, \quad a_t = ta + (1-t)\varepsilon_a, \quad \varepsilon_z, \varepsilon_a \sim \mathcal{N}(0, I)
并训练网络 uθu_\theta 来预测对受扰样本去噪的速度。对于我们用于研究缩放定律的 Dyna-2 变体，模型在视频预测与动作预测上联合训练。也就是说，视频损失与动作损失共享主干，但分别拟合两个边缘速度场：
Lco(θ)=E∥uθvid(zt;t,c)−(z−εz)∥2+λ E∥uθact(at;t,c)−(a−εa)∥2\mathcal{L}_{\mathrm{co}}(\theta) = \mathbb{E}\left\lVert u_\theta^{\mathrm{vid}}(z_t; t, c) - (z - \varepsilon_z)\right\rVert^2 + \lambda\,\mathbb{E}\left\lVert u_\theta^{\mathrm{act}}(a_t; t, c) - (a - \varepsilon_a)\right\rVert^2
由于 uθactu_\theta^{\mathrm{act}} 从不将 ztz\_t 作为输入，视频损失可以塑造共享表征；但在推理时，模型仍保持反应式运行（即策略在推理时既不生成、也不关注预测的未来视频）。
我们首先介绍人类预训练数据以及用于评估缩放定律的指标，然后依次回答四个问题。
预训练数据：人类经验的嵌套式精确时长子集
截至目前，我们已构建出总计超过一百万小时的人类操作视频语料库。其中大多数是人们执行日常操作时佩戴头戴设备拍摄的第一视角视频——包括烹饪、整理、折叠和组装——来源既包括数据合作伙伴，也包括我们的内部采集。我们构建了完整的数据清洗、手部姿态提取、验证和过滤流水线，以确保不同来源数据的有效性与一致性。对于达到手部姿态质量门槛的片段，其标注包含 3D 手部姿态轨迹；我们由此推导出动作流训练所用的伪动作监督：用手腕位姿表示末端执行器轨迹，并根据拇指与食指的张开程度生成连续抓握信号。我们没有执行任何视觉或具身特定的数据处理来缩小预训练数据与下游机器人数据之间的视觉或运动学差距；我们希望研究仅由规模扩展带来的模型属性。因此，我们认为这些发现具有普适性，也应能迁移到本文未研究的其他具身形态。
图 4. 预训练数据示例。 从语料库随机抽取的 36 段第一视角视频同时播放：场景覆盖厨房、工作间和居住空间中的日常双手操作，画面中均可见双手。
一览百万小时数据
0.0M
片段
0
独立任务指令
0
不同物体
我们从该语料库中构建了严格包含 1,000、10,000、100,000 和 1,000,000 小时数据的嵌套子集，并让每个数据源在各子集中的占比保持一致。这样，更大的数据预算只会增加数据，而不会替换数据，因此缩放曲线上各点之间的差异无法由子集间的分布偏移解释。另设一个与所有训练子集均不重叠的 100 小时验证集，并在所有人类数据评估中保持不变；所有人类数据上的留出指标都在该验证集上计算。所有数据规模对应的训练与评估配置完全一致，唯一变量是经验时长。计算量与模型尺寸的缩放实验留待未来研究。
评估指标
缩放结论可能是度量指标造成的假象：非线性或不连续的指标，可能会让平滑改善的模型无意中呈现出看似涌现的现象 [7]。为确保缩放定律不依赖特定指标，我们报告两个连续误差指标和两个经过阈值化的离散准确率指标。对于预测动作块 â 与真实动作 a，我们计算在动作维度和动作块时间跨度上取平均的 MSE 与 L1 误差，以及 accuracy@τ\tau——动作维度中与真实值之差小于 τ\tau 的比例（使用归一化动作单位），并报告 τ=0.5,0.1\tau = 0.5, 0.1 时的结果。在内部研究中，我们发现 τ=0.5\tau = 0.5 能很好地衡量整体运动意图，适合研究人类到机器人的迁移缩放定律；而 0.1 等更严格的阈值能很好地反映运动精度，有助于揭示域内（即人类到人类）缩放趋势。
在百万小时人类数据上训练的世界—动作模型是否存在缩放定律？
为研究这一问题，我们按照上述方法，在从 1,000 到 1,000,000 小时的人类数据阶梯上训练 Dyna-2 模型，并在留出的人类数据集上评估。为消除检查点偏差，我们在训练后期的一段步数窗口内评估 10 个检查点，并报告每项指标的均值与标准差。如图 5所示，所有指标上的留出预测都单调改善，并且都能用关于训练时长的幂律很好地描述。这一结果非常重要：它首次验证了真实世界操作数据的缩放定律能够延伸至一百万小时；同时也证明 Dyna-2 架构设计合理，能够吸收数百万小时数据，并在百万小时规模上继续改善。这些结果共同确认：在相同具身形态（即人类）上衡量时，物理交互的准确度可以通过将数据集扩展至百万小时规模而得到可预测的提升。
图 5. Dyna-2 在最高一百万小时人类数据上呈现的缩放定律。 四项指标均单调改善，其中阈值化指标提升最快——在整个数据阶梯上，accuracy@0.1 提升了 51%，而 MSE 改善了 12%。
人类数据上的缩放定律是否意味着机器人数据上也存在缩放定律？
上述结果以空前的数据规模衡量了模型对留出人类数据的泛化能力。但对于机器人学而言，只有当这一缩放趋势也能在机器人数据上涌现并被测量时，人类数据上的缩放定律才最有意义。据我们所知，此前没有研究证明过跨具身迁移缩放定律：即不经过额外适配或微调，直接在预训练集未包含的具身形态数据上测量评估指标 [[6](#ref-6), 29, 30]。本研究只在人类数据上预训练，并直接在留出的机器人数据上评估。具体而言，我们在一个经过整理的留出机器人数据集上，评估了同一组按规模阶梯训练的 Dyna-2 检查点。该机器人评估数据集包含两个不同的固定式双臂 YAM 平台上的 39 项任务；其中 12 项来自我们的内部固定式 YAM 双臂基准，27 项来自 xdof ABC [31]；图 6展示了随机抽取的部分评估任务。两个来源共计 39 项任务，广泛覆盖布料处理、打结、打包、清洁、餐饮服务和组装等日常操作。我们有意纳入外部 YAM 数据集，以确保评估不会偏向我们自行设计的任务。本节中的所有检查点都未在任一来源的任何一条轨迹上训练。零样本离线机器人评估结果见图 7。令人惊讶的是，所有指标都随预训练人类数据规模单调排序。据我们所知，这是首次跨越具身差距证明缩放定律：随着纯人类数据增加，留出机器人验证指标单调改善。 我们从经验上观察到，预训练数据从 10k 增至 100k 小时时出现了一个拐点，这表明只要覆盖度足够，跨具身知识迁移可能仅凭规模就会涌现。
图 6. 离线机器人评估任务的代表性图集。
图 7. Dyna-2 首次呈现人类到机器人的迁移缩放定律。 在模型预训练期间从未见过的机器人数据上评估时，性能会随人类数据规模扩展而得到可预测的改善。
[ 核心结论——缩放定律可从人类迁移至机器人 ]
世界—动作模型的缩放定律可以从人类数据中获得。仅扩展人类数据规模，就能改善世界—动作模型的机器人预测。
跨具身缩放定律能否转化为真机性能？
最后，我们验证跨具身迁移缩放定律是否能延伸到真机性能。为此，我们从缩放阶梯的 4 个层级中选取训练步数相当的检查点，并在相同的 14 项内部基准任务数据集上进行后训练；每项任务最多包含 10 小时机器人数据。后训练模型之间的唯一变量，是纯人类预训练使用了多少小时的人类视频。需要指出的是，与此前的人类到机器人迁移结果 [[6](#ref-6), 17] 不同，我们有意不进行人机对齐或联合训练 [17, 36]。我们认为这样做很可能获得更好的后训练性能，但本研究关注的是可归因于预训练规模扩展的改善。这 14 项任务覆盖多种操作能力：精确抓取与放置（Pick & Place、Unsort、Trash Tray Pickup、First Aid Kitting）、可变形物体操作（Rope Tie、Pants Hanger Preparation）、精细操作（Food Scooping、Fridge Tube Insertion、Lockbox Key Turning）、关节物体交互（Tote Construction、Mug Unboxing）、灵巧多指操作（Highlighter in Drawer、Bottle Cap Untwisting），以及语言遵循（Targeted Drink Retrieval；策略需遵循输入的文字指令，从冰箱中取出指定饮料）。任务运行在三种机器人具身形态上：11 项任务使用配备 6 自由度 YAM 机械臂与自研平行夹爪的固定式双臂平台；2 项任务使用相同机械臂，但配备一对 20 自由度 WUJI-2 灵巧多指手；语言遵循任务则运行在我们的早期半人形机器人原型上。由于任务多样，各自使用不同的原生指标，因此我们既按每项任务的原生指标报告，也为将它们放到同一坐标轴上，将每项指标归一化为该任务理论最大值的比例（100% 成功率、Pick & Place 中全部 10 个物体，或 Trash Tray Pickup 中全部 6 件物品）。14 项任务这些比例的均值，就是构建缩放曲线所用的单一归一化得分；其中 50% 表示平均达到各项任务上限的一半。我们采用完全相同的协议，对每项任务进行 10 次试验（语言遵循任务为 12 次），并执行盲测（即评估人员未参与模型开发）。
全部 14 项任务，平均归一化得分 ↑
各任务，原生指标 ↑
14 项任务 · 拖动 ↓
1k 小时10k 小时100k 小时1M 小时
图 8. 预训练规模的影响会在后训练后延续到机器人上，并一直增长至最大数据层级。 上图：以对数预训练时长为横轴的 14 项任务平均归一化得分；下图：各项任务的单独结果（可拖动滑块切换），柱形分别对应四档预训练数据预算。
汇总 14 项任务后，平均归一化性能随预训练规模单调提升，从可达到上限的 20% → 28% → 45% → 53%。在一百万小时时，后训练模型的整体真实世界性能最强，并在 14 项任务中的 9 项上表现最佳。有些任务似乎需要预训练规模超过某个阈值后才有可能完成。Lockbox Key Turning 是最明确的例子：预训练不超过 100,000 小时的检查点都无法转动钥匙；达到一百万小时后，成功转动钥匙的比例为 90%。另一个极端体现出的数据效率同样惊人：Bottle Cap Untwisting 仅使用约 10 分钟机器人示范进行后训练，但随着预训练规模扩大，其成功率仍从较小数据预算下的 10% 提升至 40% 和 50%。这一趋势也延伸到语言遵循，Targeted Drink Retrieval 的成功率从 58% 升至 83%。整个实验中，所有任务都采用完全相同的后训练方案：仅使用机器人数据，不进行联合训练，也不执行人机对齐。在这一方案下，预训练缩放定律跨越任务、具身形态与能力，一路延伸到实体机器人。
图 9. 后训练策略自主执行的示例（顶部相机，1× 速度）。 每个策略均在人类第一视角视频上预训练，后训练仅使用数小时对应任务的机器人示范。
跨具身缩放定律的涌现取决于什么？
Dyna-2 是一个同时学习预测未来世界状态与机器人动作的世界—动作模型，但这种建模选择真的重要吗？通过受控实验，我们从经验上证明，视频预测能够：（1）让跨具身迁移通过规模扩展而涌现；（2）使视频成为具身 AI 的新缩放轴——仅扩展预训练中的纯视频数据量，也能可预测地改善留出机器人数据上的评估结果。我们的研究从三组受控对比开始：固定动作数据量，同时改变训练目标和数据构成。具体而言，对每个固定规模且带有手部姿态标注的人类视频数据集——分别为 5k、50k 和 100k 小时——我们都使用相同的 Dyna-2 架构，并采用以下训练方案：
01
仅动作（只使用动作损失，不进行世界建模）
02
联合训练（在同一数据集上同时预测动作块与未来视频）
03
视频联合训练（采用联合训练，并在同等规模、不带动作标签的额外人类视频数据上预测视频）
与前文相同，我们在训练步数匹配的情况下，对三组消融模型进行 39 项机器人任务的零样本评估。图 10展示了动作数据量从 5,000 到 100,000 小时的结果。任何形式的未来预测都大幅优于仅动作方案：在每个动作数据规模下，联合训练都在 39 项任务中的全部 39 项上胜过仅动作方案。随着数据规模扩大，仅动作方案还呈现出严重且不可预测的过拟合；联合训练变体的过拟合较轻，但也不会随数据规模改善。只有在训练数据中加入大量仅用于视频预测的人类视频时，这一趋势才会反转。值得注意的是，这样做在小规模（即 5k 小时）时实际上没有优势，但差距会随数据规模扩大而增长。
图 10. 世界建模是人类到机器人迁移缩放定律涌现的关键。 在所有规模下，联合去噪均一致优于仅动作方案；视频联合训练是唯一会随动作数据量增长而改善的方案。
视频是新的缩放轴
上述结果在动作数据的每个阶梯上只使用了一种视频数据规模。接下来自然要问：如果固定动作数据量，只扩展视频数据，会发生什么？ 这个问题不仅出于科学好奇心，也具有实际意义。随着预训练数据进入百万小时规模，我们面临的一个挑战是：人类视频可以非常丰富，但准确提取手部姿态并不容易；并非所有人类活动录制设置都能提取出达到内部质量门槛的手部姿态。此外，即使录制设置良好，对数百万小时数据执行大规模标注本身也是巨大的基础设施挑战，并会造成总数据量与经过动作标注和质量控制的数据量之间存在滞后。因此，可以合理假设：在使用人类数据预训练的范式下，始终会存在大量未标注的人类视频数据。如何有效利用这些视频？如果较低质量的视频无需提供动作监督，只需大规模用于未来视频预测，是否就已经足够？我们发现，视频联合训练的核心收益，是会随视频数据量扩展而涌现的跨具身泛化。具体而言，我们固定 50,000 小时带动作标签的人类数据，并只将仅用于视频联合训练目标的人类数据从 0 扩展至 1,000、10,000 和 50,000 小时，以模拟拥有大量无动作标签视频的情形。为验证人类动作数据和纯人类视频数据都扩大一个数量级后结论仍然成立，我们又使用 250k 小时人类动作数据，分别搭配 0、250k、750k 小时纯人类视频数据重复实验，随后在留出机器人数据的离线评估中比较这些模型。结果见图 11。在两组固定动作数据量和不同视频数据规模的实验中，完全不使用视频数据（即仅动作）的 Dyna-2 始终不如加入视频数据的模型；仅扩展视频规模，也会使泛化能力单调改善。此外，我们在图 12中测量归一化相对改善，以说明这些检查点在留出人类数据集上的表现。我们看到，扩展人类视频数据对人类数据评估没有帮助，甚至可能略有恶化；一种可能的假设是，视频训练稀释了动作学习梯度，而对于同具身评估，足够的动作数据已经足够。综合本节结果，关键经验结论是：视频联合训练是建立跨具身迁移缩放定律的主要驱动力。 尽管这些结果（至少对我们而言）出乎意料，但从第一性原理出发，我们也认为它们本应成立。世界建模的愿景一直是赋予模型对物理世界的普遍理解；这种能力理应帮助模型泛化到从未见过的具身形态。如今，这一假设首次在大规模实验中得到验证。
图 11. 视频是新的缩放轴。 在两个数量级的人类动作数据上，仅扩展视频数据就能改善模型泛化能力。
图 12. 视频数据在大规模下的收益体现在跨具身泛化。
[ 核心结论——未来预测促成跨具身迁移缩放定律 ]
视频是新的缩放轴。
WAM 与 VLA：同等条件对比
在逐步确定最终 Dyna-2 方案的过程中，我们还对 WAM 与视觉—语言—动作（VLA）模型进行了严格的同等条件对比 [[13](#ref-13), 3]。目前，社区尚未就哪种架构更优形成共识，也缺少经验证据。已发表的比较在训练数据、计算预算、评估协议以及双方检查点的调优程度上都不相同 [[4](#ref-4), 37]。我们在同等条件下，将早期版 Dyna-2 与此前用于生产的 VLA 架构 Dyna-1 进行比较。Dyna-1 使用类似的 Transformer 混合架构来预测动作，并以 Qwen3-VL-4B [32] 初始化。两个模型在匹配的条件下训练和比较：预训练与后训练数据集相同，训练超参数相同；为消除检查点选择偏差，每种架构的每次后训练都分别从三个不同的预训练检查点开始。需要强调的是，这项比较实际上对 WAM 不利。首先，这里测试的早期 Dyna-2 早于本技术报告中的大部分工作：既没有百万小时预训练，整个模型也只接受动作损失监督。其次，更根本的是，整套实验流水线都针对我们的 VLA 调优：数据集按 VLA 方案采集和整理，训练超参数也继承自 VLA 调优。因此，我们将这些结果视为 WAM 相对一个充分调优的 VLA 基线所能达到性能的下界。下图汇总了 7 项基准任务的结果。合并所有试验和检查点后，WAM 的成功率达到 VLA 的 1.55 倍，质量评分达到 1.12 倍。在同时固定预训练检查点步数和后训练任务的逐项对比中，早期 Dyna-2 有 65% 的情况胜出，Dyna-1 有 29% 的情况胜出，另有 6% 打平。VLA 的大部分胜局来自最早的预训练检查点，此时 WAM 的预训练优势尚未积累起来。
WAM（早期 Dyna-2）VLA（Dyna-1）— 基线
图 13. 归一化至 VLA 的真机汇总对比。 每根柱汇总全部 7 项后训练任务和 3 个预训练检查点——每种架构共 21 个“任务×检查点”单元——并将 VLA 在每项指标上设为 1.00。左：真机成功率。右：平均质量评分。误差线表示各单元配对 bootstrap 的 95% 置信区间（均值之比；当 VLA 得分为零时，单元级比值无定义）。
定性案例研究
除汇总的后训练结果外，我们还报告了一些关于模型定性行为的发现。与 Dyna-1 相比，Dyna-2 能产出质量更高的成品，并在极端干扰条件下持续运行。我们以最早用 Dyna-1 展示的蔬菜切配任务为例。在该任务中，Dyna-2 与 Dyna-1 切出的芹菜质量存在明显差异。使用相同数据集配置后训练后，Dyna-2 切出的芹菜片更薄、更均匀，与专家示范高度一致。
并排比较芹菜切片。 我们的生产级 VLA Dyna-1 与早期 WAM Dyna-2 完成一次切配后的托盘成品——两者均使用相同的数据集配置进行后训练。
此外，由于后训练数据集较小，Dyna-1 在此任务上面对干扰时较为脆弱；Dyna-2 即使在极端工作条件下也能在无人干预的情况下持续运行。改变并降低照明：我们先更换工作区域上方的灯光，再移除大部分光源。Dyna-2 在两种情况下都能精确完成任务。
迪斯科灯光。
黑暗环境下切配。
视觉输入丢失。我们在运行过程中移除了策略的一部分视觉输入，Dyna-2 仍继续工作。我们将其报告为对传感器丢失的鲁棒性，而非对不可见场景状态的预测。
顶部相机被遮挡。
持续追求目标状态。策略运行时，我们直接站在机器人前方，不断把切好的食材放回砧板，以与机器人完成工作同样快的速度撤销其成果。Dyna-2 持续清理，没有在固定循环次数后停止，而是在砧板清空后才停止。
持续执行。
零样本真实世界部署
Dyna-2 这类通用模型的一项承诺，是无需额外微调即可直接部署到客户现场的真实任务中。我们的 Dyna-1 模型已经具备出色的零样本能力（参见此前的博客文章），在未见环境中也能维持接近 100% 的任务完成率。然而，在生产环境中，任务完成并不是决定性标准；性能要结合客户现场要求的质量、吞吐量和可靠性共同评估。一项策略即使满足完成标准，仍可能在这三方面全部不合格。Dyna-2 帮助我们跨过了这道门槛：在从未见过的客户现场，它仍能维持质量、吞吐量与可靠性。我们在 Dyna-1 与 Dyna-2 都已部署的客户现场，按照生产验收标准对两者进行评估。通过率来自现场报告，由未参与模型开发的操作员依据客户验收标准评分。两个模型使用相同的任务数据集、以相同步数进行后训练，并且都没有见过部署现场的任何数据。在内部环境中，两者难分高下：都达到生产质量，通过率接近 100%。但到客户现场后，差距迅速拉开。Dyna-1 的通过率为 46%，Dyna-2 为 87%——在相同后训练预算下相差 41 个百分点。
生产验收标准通过率 ↑
图 14. Dyna-1 与 Dyna-2 在同分布评估中都能达到 100% 的质量标准，但零样本部署到真实客户现场时，Dyna-2 的泛化能力显著更强。
通过世界建模实现指令遵循
语言是控制机器人策略的重要接口：它既能提高部署灵活性，又能接收来自人类或 System 2 模型的指令，还能让机器人数据得到正确的语境化与复用。端到端机器人策略往往难以正确遵循输入的语言指令，因为图像包含的信息远多于语言，而连续动作损失可能破坏预训练表征 [33]。反事实情形尤其具有挑战性：模型面对与训练数据相似的场景，却收到不同的语言指令。对于 VLA，为保留主干中的语义知识，早期工作通常需要多阶段训练并冻结主干 [[33](#ref-33), 34]，导致训练流水线脆弱且缓慢。世界—动作模型通过视频预测提供了学习语言的新数据来源，使模型能够理解物体和动作在物理世界中的含义，并利用丰富的第一视角数据。
01
视频预测能否增强 Dyna-2 的语言遵循能力？
02
在预训练期间扩展视频数据，能否改善下游语言遵循能力？
受到通用策略评估 [35] 与反事实场景相关工作的启发，我们设计了以下基准任务来评估语言遵循能力；在这些任务中，场景保持不变，只改变输入的语言指令：
推/拉 Jenga 积木：机器人必须沿指定方向推动或拉动一块 Jenga 积木
物体分拣装箱：机器人必须从 5 个物体中拾取指定物体，并将其放入箱中
积木堆叠：机器人必须在多种布局中，将红色积木叠到黄色积木上，或反向堆叠，用于测试语言—空间对齐
餐巾操作：机器人必须对餐巾执行多种动作（拿起、放下、拉动、旋转、翻面、从左向右折叠、从上向下折叠、摊平）
这些基准共同覆盖了我们认为灵活部署机器人所需的多种重要能力，包括空间理解、物体指代对齐和灵巧动作基元。为回答问题 1，我们在早期 Dyna-2 语料库上，对 FastWAM 风格的视频联合训练与仅动作训练进行同等条件的预训练对比。为回答问题 2，我们比较在完整 Dyna-2 语料库上进行的视频联合训练。每种情况下，我们都在上述所有任务的数小时数据上微调预训练检查点并评估成功率；如果策略尝试了指定动作但未成功，则该次试验计为 0.5/1。
仅动作 · 早期 Dyna-2视频联合训练 · 早期 Dyna-2视频联合训练 · Dyna-2
图 15. 语言遵循得分——1：完成指令要求的结果；½：尝试了正确的语言动作基元但未完成；0：执行了其他动作基元（动词、指代对象或方向错误）。
在早期 Dyna-2 语料库上，从仅动作预训练切换到视频联合训练后，整体成功率从 35% 提升至 67%；在完整 Dyna-2 语料库上进行视频联合训练，则进一步将成功率推高至 96%，尤其改善了涉及物体指代对齐和更灵巧动作基元的任务。总体而言，结果表明，预训练数据的规模与多样性以及训练目标都会显著影响语言遵循性能；三者共同赋予 Dyna-2 强大的语言可控性。
单步视频生成
除了扩展数据规模并展示真机能力，Dyna-2 还推进了面向下游应用的视频生成。我们开发了一套蒸馏流水线，将 Dyna-2 视频生成器转化为单步学生模型，使生成潜变量的耗时缩短约 90 倍。据我们所知，这是首个能生成由指令条件控制、质量足以用于规划与评估的操作视频的单步蒸馏流水线，尽管它尚未达到全精度教师模型的水平。少步蒸馏已经是视频生成中的常见做法，通常使用轨迹回归 [[20](#ref-20), 21] 和分布匹配 [[22](#ref-22), 23, 24] 目标，但两者都无法压缩到单步。回归损失的最优解是条件均值 E[x0∣z]\mathbb{E}[x_0 \mid z]，因此从噪声出发只走一步会返回所有未来的平均结果，进而产生模糊。分布匹配损失能够保留细节，但其梯度 Ex∼pθ[(sθ−sq) ∂x/∂θ]\mathbb{E}_{x \sim p_\theta}[(s_\theta - s_q)\,\partial x/\partial\theta] 会在教师模型从未训练过的位置评估教师分数 sqs_q：概率流路径局部近似直线，整体却是弯曲的（在我们的教师模型上，每步约 4°、累计 58°），因此单步会离开 sqs_q 的支撑集。高维空间会让两种问题都更加严重。根据流形假设，pθp_\theta 与 qq 占据 RD\mathbb{R}^D 中的低维集合；当 dimMp+dimMq<D\dim M_p + \dim M_q < D 时，两者通常不相交，因此 χ2(p∥q)=∞\chi^2(p \| q) = \infty，除非用噪声平滑两者，否则散度会饱和且梯度消失 [40]。单步方法必须一次性承担全部平滑，而多步采样器会在每一步重新投影到数据上，从而避开这一问题。因此，单步方法可用于图像 [[25](#ref-25), 26]，却不能直接用于视频：视频的 DD 大得多，单步生成会产生模糊，而分布匹配甚至可能进一步坍缩成静态片段。我们把单步视频生成视为一个控制问题：学生模型与随其移动的目标之间展开追逐博弈。我们不把教师模型固定为目标，而是让学生匹配一条连续的目标路径；该路径从初始化时可达的目标开始，最终延伸至数据本身。路径根据学生模型的在线读数推进，因此目标仅以学生能够跟上的速度向数据后退，始终保持足够接近，从而既可到达、又能可靠评分。形式化地，令学生模型为单步生成器 x=Gθ(ε)x = G_\theta(\varepsilon)，其中 ε∼D(0,I)\varepsilon \sim \mathcal{D}(0, I)；令 {qr}{q_r}、r∈[0,1]r \in [0, 1] 为一族构成连续路径的目标测度，其中 q0q_0 选择初始化时可达的分布，q1q_1 为数据分布。根据上述流形论证，两个测度先经 D(0,σ2)\mathcal{D}(0, \sigma^2) 噪声平滑后再进行比较，使其支撑集重叠。令 m^\hat{m} 表示学生模型自身样本的在线读数，ww 表示增益。训练以不同时间尺度执行两个耦合更新：
（快，学生模型）
dθ/dt∝−w(m^) ∇θD (pθ∗Dσ ∥ qr∗Dσ)\mathrm{d}\theta/\mathrm{d}t \propto -w(\hat{m})\,\nabla_\theta \mathbb{D}\!\left(p_\theta * \mathcal{D}_\sigma \,\|\, q_r * \mathcal{D}_\sigma\right)
（慢，目标）
dr/dt=f(m^)\mathrm{d}r/\mathrm{d}t = f(\hat{m})
散度 D\mathbb{D} 的形式保持开放：可以是寻模态的、对抗式的，或二者混合。慢更新 ff 是控制律，其形式决定了目标是跟随者而非领先者。在我们的实现中，只有当 m^\hat{m} 表明学生模型已经缩小了与当前目标的差距时，ff 才会推进 rr；否则保持不变，因此目标永远不会移动到学生模型无法跟随的位置。
图 16. 单步生成为何困难，以及各方法最终落在哪里。 画面为同一示例片段的最后一帧；各实验组使用相同的指令和首帧。
推理成本降低约 90 倍。在一张 H100 上，生成一段 3 秒、3 视角的操作视频时，采样器耗时从 10,203 ms 降至 110 ms：由教师模型的一百次网络求值缩减为一次。下表将这种速度与留出片段上的质量进行对比：我们的单步学生模型将 FVD 保持在 121，闪烁程度接近真实视频；相比之下，直接将教师模型截断为一步会产生严重抖动（15.81）。其运动量达到真实视频的 75%，这仍是它落后于完整教师模型的地方。
采样器
NFE
采样耗时（ms）
加速比
FVD ↓
运动量 ↑
闪烁
真实录制的未来视频
—
—
—
—
100%
2.37
教师模型，默认调度
100
10,203
1×
80
94%
2.69
教师模型，步数缩减为 1
2
210
48.6×
1039
27%
15.81
DMD2，2 步
2
211
48.4×
115
79%
2.95
DMD2，1 步
1
109
93.6×
599
56%
5.81
我们的方法，1 步
1
110
93×
121
75%
1.94
图 17. Dyna-2 的单步蒸馏流水线无需额外适配，即可生成高保真、由指令条件控制的第一视角未来视频。
图 18. 在机器人数据上完成后训练的 Dyna-2 单步蒸馏流水线，可生成多视角且一致的未来视频。
引用本研究
@article{dyna2026dyna2,
author = {{Dyna Robotics}},
title = {Dyna-2: A 1-Million-Hour Scaling Law
for World-Action Models},
year = {2026},
month = {August},
url = {https://dyna.co/dyna-2},
}
[ 获取最新动态 ]
将我们的最新研究直接发送到你的邮箱。
[ DYNA ]
探索：
关于：
社交媒体：
© 2026 DYNA Robotics Inc.