昆仑万维于10月15日发布并开源 Matrix-Game 4.0,将游戏引擎与视频生成模型接在同一条运行流程里。引擎维护角色状态、物理和操作规则,视频模型把简化的场景画面重新渲染为更细致的视觉内容;目前公开的内容包括推理代码、浏览器演示程序、游戏源码,以及三个场景的模型权重和资产。
规则先算清,再把场景交给视频模型
这套方案先由引擎运行游戏,再输出低模画面,也就是用较简单的几何形体保留场景结构。视频模型读取这些画面、文字提示和参考帧,逐块生成后续影像。碰撞是否发生、玩家如何移动等结果仍由引擎处理,画面中的材质与光影则交给神经渲染部分,从而让玩法状态有明确的代码依据。
项目还引入编程智能体,用来把用户提出的新玩法转成规则和提示词,并结合当前游戏状态组织生成条件。从开发流程看,这种分工的价值在于把“改规则”和“改视觉”分成可以分别迭代的环节:开发者可以先验证玩法是否成立,再检查生成画面能否准确呈现变化。不过,规则由代码管理,并不自动保证视频里的每个细节都始终正确,两部分仍需要一起验收。
已开放三个场景,性能要看具体运行条件
官方仓库列出了中世纪城堡、古埃及和城市赛车三个场景,前两者为第三人称射击,后者包含驾驶玩法。当前浏览器演示面向单用户,视频推理需要 Linux 与 NVIDIA GPU;客户端通过浏览器接收画面,和在客户端本机运行生成模型是两回事。对想尝试的团队,先确认场景、部署环境与运行方式,比只看“开源”二字更有用。
项目主页展示的单卡演示指标包括480p输出、RTX 5090 单步去噪83 FPS,以及112毫秒的按键至首帧响应。这些属于项目方展示的数据;开源说明另列有 A100 环境下的参考测量,并提醒服务端吞吐、浏览器呈现帧率和操作响应延迟是不同指标。能否在自己的设备上复现,还应结合所用模型、推理配置及传输链路核对,不能把其中一个速度数字套给整套体验。
对于内容制作,这条路线提供了一个值得观察的方向:先用可执行场景固定空间与交互,再让视频模型补充视觉表现,可能帮助小团队更早试验场景气氛和互动原型。后续是否适合更长流程,要看持续游玩时的画面稳定性、修改后能否复现,以及每次迭代需要多少计算资源。当前三个场景的开放,为这些判断提供了具体的试验起点。
创作工具推荐:在PixTV先做视觉预演
如果现阶段的任务是整理场景风格或短片分镜,可以在PixTV官网查看 AI 分镜、图片生成和视频生成入口,先把构想变成可讨论的视觉方案,再决定后续制作方式。具体可用模型以页面为准;这里推荐的是视觉创作工具,尚无依据认定 PixTV 已接入 Matrix-Game 4.0 或提供上述实时游戏功能。