← Blog

World Model Paper Reading

记录读论文过程中的一些思考

· Updated

一些共同的痛点：

  • 如何持续生成长视频并缓解累积漂移？
  • 交互性
  • 实时

WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory, Tencent

arXiv Project Code

如何保存记忆： 如何生成：

LingBot-World: Advancing Open-source World Models, Robbyant

arXiv Project Code

数据pipeline self-rollout

LingBot-World 2.0: Infinite Worlds with Versatile Interactions, Robbyant

arXiv Project Code

一个自回归模型，预训练：同时进行自回归训练和双向视频训练，前者为了训练模型的指令遵循能力，后者为了训练模型的整段视频生成合理性，作为正则化。两部分共享模型参数，但通过MoBA进行注意力隔离，

后训练：在长 self-rollout 轨迹上使用 DMD 蒸馏损失，

DreamX-World 1.0: A General-Purpose Interactive World Model, 高德

arXiv Project Code

Alaya-EVOKE: From Linear-Scaling Supervision to Endless World, Alaya Lab

arXiv Project Code

HY-WorldPlay: Towards Long-Term Geometric Consistency for Real-Time Interactive World Modeling, Tencent

arXiv Project Code

Lyra 2.0: Explorable Generative 3D Worlds, NVIDIA

arXiv Project Code

EchoWM: Open and Enterable Omnimodal World Models, 京东

arXiv Project Code

Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory, Riemann Dynamics

arXiv Project Code

SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer, NVIDIA

arXiv Project Code