GA游戏 AI 研发实践图谱
更新至 2026-07-14

场景、地编与世界模型

“能走动的画面”可能是视频、3DGS、网格或结构化白模,它们的生产价值完全不同。信息截至 2026-07-14。

AI 地编白模工作流输出的结构化场景

结论先行

评价 AI 场景之前,先问输出是什么。视频世界能即时呈现氛围和交互反馈,却不一定留下持久资产;3D Gaussian Splatting 可以自由换视角,但几何、碰撞和对象级编辑有限;网格可进入引擎,拓扑与语义仍可能不足;结构化白模视觉粗糙,却最容易承载尺寸、碰撞、导航、替换和团队协作。

原文 V0.1、V0.2、失败的 Agent 拼装和 2026 年地编白模组成一条清晰路线:从追求一张参考图的视觉还原,转向描述空间关系、复用资产、先在 Web 预览,再在 Unity 生成可编辑层级。Genie 3 的仙剑四、跳跳乐和拉力赛车实验则属于另一条路线,它们验证控制包装和即时可玩感,不应与“生成了游戏场景资产”混为一谈。

对实际项目,最稳的策略通常是双轨:用图像或世界模型探索氛围与镜头,用结构化白模保证玩法空间;二者经人工对齐,而不是要求一方直接替代另一方。

原文演进

时间 案例 状态 判断
2025-08 场景工作流 V0.1 归档,已被替代 单图到环绕视频再到 3DGS,中心视角有表现力,背面和拉伸明显
2025-09 场景工作流 V0.2 补充,原型可用 360 全景和分层改善覆盖,仍受几何空洞与视点质量限制
2026-01 Genie3 世界模型版仙剑四 补充,探索中 证明经典场景可以被转换为即时交互体验,不能导出等价游戏资产
2026-02 AI 生成游戏场景工作流,失败 核心,失败案例 参考、布局、地形和资产都存在,组合结果仍稀疏且缺乏构图
2026-03 世界模型跳跳乐 补充,探索中 在视频世界上增加平台玩法控制,验证短时可玩包装
2026-03 世界模型拉力赛车 补充,探索中 验证连续驾驶输入和场景反馈,仍不等价于物理、赛道数据和持久资产
2026-07 AI 游戏地编白模工作流 核心,原型可用 参考到 Skill、结构描述、Web 预览、Unity 低模与 Prefab 的可编辑链路

有效方法

先选择输出形态

目标 合适输出 主要优势 关键缺口
氛围提案、镜头探索 图像或视频 快、表现力高 无持久几何与对象语义
固定范围的自由观看 3DGS 重建感强、可换视点 碰撞、拓扑、对象编辑困难
玩法验证、关卡协作 结构化白模 尺度、碰撞、导航可控 视觉只到占位水平
后续美术替换与运行时 语义网格和 Prefab 引擎友好、可脚本化 生成成本与清理成本更高

一开始不作选择,常导致团队拿视频评价几何,拿白模评价氛围,最后所有方案都显得失败。

用结构描述承载关卡意图

地编白模应描述功能区、路径、视线、落差、节奏、关键地标、出生点、目标点和资产实例,而不仅是对象列表。对象要有语义角色、尺寸、坐标参考系、父级、可替换资产 ID 和碰撞类型。结构可渲染为简化网页预览,也可由 Unity 工具生成 ProBuilder 网格或 Prefab。

把资产目录作为约束输入

失败的 Agent 拼装案例提醒我们:让模型想象任意资产再临时寻找,会出现命名不匹配、尺度不一致和风格混杂。生产工具应先读取已批准资产目录,包括缩略图、包围盒、pivot、标签、材质、变体和使用成本。模型负责选择与摆放,不负责发明不存在的资源。

分离宏观布局和局部装饰

第一轮只处理地形、主路、房间、平台、阻挡、入口出口和关键地标;第二轮才添加可替换的大型资产;最后做植被、碎物和视觉叙事。每层都能单独开关和重生成。这样当宏观构图失败时,不会被丰富小物件掩盖。

以玩法数据验证,不只看截图

验证项应包含可达性、最窄通道、最大坡度、跳跃距离、摄像机遮挡、战斗空间、导航网格覆盖、出生到目标时间和视线暴露。视觉模型可评价构图和参考相似度,确定性工具负责尺度、碰撞和路径。

失败原因

3DGS 的中心区域好,不代表完整世界好

V0.1 和 V0.2 的原文观察显示,输入图附近的视角较可信,背面容易拉伸、空洞或补全错误。3DGS 优化的是视图重现,不天然提供干净网格、封闭碰撞体和对象边界。若用途是固定机位背景或短距离浏览,这仍可接受;若要自由探索和交互,就会暴露限制。

“对象都有”仍可能没有关卡

失败案例中,布局参考、JSON、地形和 3D 资产并不缺,最终却显得稀疏。原因是关卡质量不由对象数量决定,而由层次、动线、尺度、节奏、遮挡和视觉焦点共同决定。模型按清单逐项放置,容易满足局部约束却没有全局构图。

世界模型的控制不是确定性模拟

跳跳乐和赛车通过输入影响后续画面,能形成可玩体验。但视频世界里的接触、速度和位置是生成模型连续性的表现,不等于引擎中的碰撞体、刚体、轮胎模型和赛道坐标。它适合研究、创意探索和轻量体验,不适合直接承担精确关卡或竞速规则。

全景扩展会累积语义漂移

从单图扩展到 360 度,再沿轨迹继续生成,每一步都可能改变建筑结构、物体身份和尺度。后续 3D 重建会把这些矛盾固化。需要记忆、深度、法线、相机和全局地图等条件约束,也仍需检测循环回到旧区域时是否一致。

当前技术进展

持久 3D 世界与视频世界开始分流

HY-World 2.0 官方仓库将输入扩展到文本、单图、多图和视频,输出 3DGS、mesh 和 point cloud,并提供 Unity、Unreal、Isaac 等导入方向。其完整 world generation 管线包含全景、轨迹规划、扩展、重建与 3DGS 训练。官方快速开始同时说明了较高工程门槛,例如世界生成阶段推荐多 GPU,并依赖 VLM 服务和编译组件。HY-World 2.0 官方仓库,访问于 2026-07-14

Genie 3 官方将其定义为实时交互世界模型,支持 720p、约 20 到 24 FPS 的生成式交互。官方也明确列出动作空间有限、多 Agent 互动、真实地点精确度、文字渲染和连续交互时长等限制。原文的两个玩法实验应据此归类为世界模型上的短时交互原型。Google DeepMind Genie 3,访问于 2026-07-14

研究开始强调可遍历、可编辑和可执行

WorldGen 将 LLM 布局、程序生成、3D 生成和对象分解组合为可遍历交互世界;SceneCode 把室内世界编译为可执行程序而非不透明网格;Map2World 使用用户给定的分割地图约束大尺度结构;2026 年 7 月发布的 EmbodiedGen V2 则以跨模拟器、交互能力和任务为目标,论文报告仍需在对应评测设置内理解。WorldGenSceneCodeMap2WorldEmbodiedGen V2,均访问于 2026-07-14。

编辑判断: 当前最明显的进展不是画面更逼真,而是研究和工具开始把地图、程序、对象语义、碰撞与任务条件当作输出的一部分。这与原文最终转向白模描述语言是同一方向。

推荐工作流

玩法指标和视觉参考
  -> 选择输出形态
  -> 区域与路径图
  -> 结构化场景描述
  -> 确定性白模预览
  -> 可达性和尺度验证
  -> Unity 层级与 Prefab
  -> 美术替换和实机测试

输入至少包括目标玩法、玩家能力、相机、世界单位、资产目录、平台预算和视觉参考。输出应包含场景描述源文件、Unity 场景或 Prefab、碰撞和导航信息、资源依赖、预览图、验证报告和生成记录。

人工检查点应放在区域图、第一版白模和美术替换后三处。第一处决定关卡意图,第二处验证空间,第三处防止美术资产改变碰撞、视线或节奏。Agent 的自动修正范围可覆盖悬空、穿插、超出边界、不可达和资产缺失,不应自行改变核心路线。

适用边界

适合:关卡白模;快速比较多种区域布局;从参考图提取空间语言;生成可替换的低模场景;固定视点背景的 3DGS;世界模型的创意和交互研究。

谨慎使用:开放世界、精确竞速、复杂多层导航、室内外无缝连接、破坏和物理交互、需要长时间状态一致的世界。

不值得使用:团队已有成熟模块化关卡工具且需求只是摆放少量资产;没有资产目录与尺度规范;只想把漂亮参考图强行还原为可生产世界;用视频世界结果替代碰撞、导航和物理实现。

原始文章与延伸阅读

本专题收录 7 篇原文。完整 URL、分级、状态和后续版本见文章索引

输入至少两个字符。搜索在本地完成,不发送任何请求。