场景、地编与世界模型
“能走动的画面”可能是视频、3DGS、网格或结构化白模,它们的生产价值完全不同。信息截至 2026-07-14。

结论先行
评价 AI 场景之前,先问输出是什么。视频世界能即时呈现氛围和交互反馈,却不一定留下持久资产;3D Gaussian Splatting 可以自由换视角,但几何、碰撞和对象级编辑有限;网格可进入引擎,拓扑与语义仍可能不足;结构化白模视觉粗糙,却最容易承载尺寸、碰撞、导航、替换和团队协作。
原文 V0.1、V0.2、失败的 Agent 拼装和 2026 年地编白模组成一条清晰路线:从追求一张参考图的视觉还原,转向描述空间关系、复用资产、先在 Web 预览,再在 Unity 生成可编辑层级。Genie 3 的仙剑四、跳跳乐和拉力赛车实验则属于另一条路线,它们验证控制包装和即时可玩感,不应与“生成了游戏场景资产”混为一谈。
对实际项目,最稳的策略通常是双轨:用图像或世界模型探索氛围与镜头,用结构化白模保证玩法空间;二者经人工对齐,而不是要求一方直接替代另一方。
原文演进
| 时间 | 案例 | 状态 | 判断 |
|---|---|---|---|
| 2025-08 | 场景工作流 V0.1 | 归档,已被替代 | 单图到环绕视频再到 3DGS,中心视角有表现力,背面和拉伸明显 |
| 2025-09 | 场景工作流 V0.2 | 补充,原型可用 | 360 全景和分层改善覆盖,仍受几何空洞与视点质量限制 |
| 2026-01 | Genie3 世界模型版仙剑四 | 补充,探索中 | 证明经典场景可以被转换为即时交互体验,不能导出等价游戏资产 |
| 2026-02 | AI 生成游戏场景工作流,失败 | 核心,失败案例 | 参考、布局、地形和资产都存在,组合结果仍稀疏且缺乏构图 |
| 2026-03 | 世界模型跳跳乐 | 补充,探索中 | 在视频世界上增加平台玩法控制,验证短时可玩包装 |
| 2026-03 | 世界模型拉力赛车 | 补充,探索中 | 验证连续驾驶输入和场景反馈,仍不等价于物理、赛道数据和持久资产 |
| 2026-07 | AI 游戏地编白模工作流 | 核心,原型可用 | 参考到 Skill、结构描述、Web 预览、Unity 低模与 Prefab 的可编辑链路 |
有效方法
先选择输出形态
| 目标 | 合适输出 | 主要优势 | 关键缺口 |
|---|---|---|---|
| 氛围提案、镜头探索 | 图像或视频 | 快、表现力高 | 无持久几何与对象语义 |
| 固定范围的自由观看 | 3DGS | 重建感强、可换视点 | 碰撞、拓扑、对象编辑困难 |
| 玩法验证、关卡协作 | 结构化白模 | 尺度、碰撞、导航可控 | 视觉只到占位水平 |
| 后续美术替换与运行时 | 语义网格和 Prefab | 引擎友好、可脚本化 | 生成成本与清理成本更高 |
一开始不作选择,常导致团队拿视频评价几何,拿白模评价氛围,最后所有方案都显得失败。
用结构描述承载关卡意图
地编白模应描述功能区、路径、视线、落差、节奏、关键地标、出生点、目标点和资产实例,而不仅是对象列表。对象要有语义角色、尺寸、坐标参考系、父级、可替换资产 ID 和碰撞类型。结构可渲染为简化网页预览,也可由 Unity 工具生成 ProBuilder 网格或 Prefab。
把资产目录作为约束输入
失败的 Agent 拼装案例提醒我们:让模型想象任意资产再临时寻找,会出现命名不匹配、尺度不一致和风格混杂。生产工具应先读取已批准资产目录,包括缩略图、包围盒、pivot、标签、材质、变体和使用成本。模型负责选择与摆放,不负责发明不存在的资源。
分离宏观布局和局部装饰
第一轮只处理地形、主路、房间、平台、阻挡、入口出口和关键地标;第二轮才添加可替换的大型资产;最后做植被、碎物和视觉叙事。每层都能单独开关和重生成。这样当宏观构图失败时,不会被丰富小物件掩盖。
以玩法数据验证,不只看截图
验证项应包含可达性、最窄通道、最大坡度、跳跃距离、摄像机遮挡、战斗空间、导航网格覆盖、出生到目标时间和视线暴露。视觉模型可评价构图和参考相似度,确定性工具负责尺度、碰撞和路径。
失败原因
3DGS 的中心区域好,不代表完整世界好
V0.1 和 V0.2 的原文观察显示,输入图附近的视角较可信,背面容易拉伸、空洞或补全错误。3DGS 优化的是视图重现,不天然提供干净网格、封闭碰撞体和对象边界。若用途是固定机位背景或短距离浏览,这仍可接受;若要自由探索和交互,就会暴露限制。
“对象都有”仍可能没有关卡
失败案例中,布局参考、JSON、地形和 3D 资产并不缺,最终却显得稀疏。原因是关卡质量不由对象数量决定,而由层次、动线、尺度、节奏、遮挡和视觉焦点共同决定。模型按清单逐项放置,容易满足局部约束却没有全局构图。
世界模型的控制不是确定性模拟
跳跳乐和赛车通过输入影响后续画面,能形成可玩体验。但视频世界里的接触、速度和位置是生成模型连续性的表现,不等于引擎中的碰撞体、刚体、轮胎模型和赛道坐标。它适合研究、创意探索和轻量体验,不适合直接承担精确关卡或竞速规则。
全景扩展会累积语义漂移
从单图扩展到 360 度,再沿轨迹继续生成,每一步都可能改变建筑结构、物体身份和尺度。后续 3D 重建会把这些矛盾固化。需要记忆、深度、法线、相机和全局地图等条件约束,也仍需检测循环回到旧区域时是否一致。
当前技术进展
持久 3D 世界与视频世界开始分流
HY-World 2.0 官方仓库将输入扩展到文本、单图、多图和视频,输出 3DGS、mesh 和 point cloud,并提供 Unity、Unreal、Isaac 等导入方向。其完整 world generation 管线包含全景、轨迹规划、扩展、重建与 3DGS 训练。官方快速开始同时说明了较高工程门槛,例如世界生成阶段推荐多 GPU,并依赖 VLM 服务和编译组件。HY-World 2.0 官方仓库,访问于 2026-07-14
Genie 3 官方将其定义为实时交互世界模型,支持 720p、约 20 到 24 FPS 的生成式交互。官方也明确列出动作空间有限、多 Agent 互动、真实地点精确度、文字渲染和连续交互时长等限制。原文的两个玩法实验应据此归类为世界模型上的短时交互原型。Google DeepMind Genie 3,访问于 2026-07-14
研究开始强调可遍历、可编辑和可执行
WorldGen 将 LLM 布局、程序生成、3D 生成和对象分解组合为可遍历交互世界;SceneCode 把室内世界编译为可执行程序而非不透明网格;Map2World 使用用户给定的分割地图约束大尺度结构;2026 年 7 月发布的 EmbodiedGen V2 则以跨模拟器、交互能力和任务为目标,论文报告仍需在对应评测设置内理解。WorldGen、SceneCode、Map2World、EmbodiedGen V2,均访问于 2026-07-14。
编辑判断: 当前最明显的进展不是画面更逼真,而是研究和工具开始把地图、程序、对象语义、碰撞与任务条件当作输出的一部分。这与原文最终转向白模描述语言是同一方向。
推荐工作流
玩法指标和视觉参考
-> 选择输出形态
-> 区域与路径图
-> 结构化场景描述
-> 确定性白模预览
-> 可达性和尺度验证
-> Unity 层级与 Prefab
-> 美术替换和实机测试
输入至少包括目标玩法、玩家能力、相机、世界单位、资产目录、平台预算和视觉参考。输出应包含场景描述源文件、Unity 场景或 Prefab、碰撞和导航信息、资源依赖、预览图、验证报告和生成记录。
人工检查点应放在区域图、第一版白模和美术替换后三处。第一处决定关卡意图,第二处验证空间,第三处防止美术资产改变碰撞、视线或节奏。Agent 的自动修正范围可覆盖悬空、穿插、超出边界、不可达和资产缺失,不应自行改变核心路线。
适用边界
适合:关卡白模;快速比较多种区域布局;从参考图提取空间语言;生成可替换的低模场景;固定视点背景的 3DGS;世界模型的创意和交互研究。
谨慎使用:开放世界、精确竞速、复杂多层导航、室内外无缝连接、破坏和物理交互、需要长时间状态一致的世界。
不值得使用:团队已有成熟模块化关卡工具且需求只是摆放少量资产;没有资产目录与尺度规范;只想把漂亮参考图强行还原为可生产世界;用视频世界结果替代碰撞、导航和物理实现。
原始文章与延伸阅读
本专题收录 7 篇原文。完整 URL、分级、状态和后续版本见文章索引。