GA游戏 AI 研发实践图谱
更新至 2026-07-14

游戏 AI 研发实践图谱

从 39 次实验中提炼可复用的工作流、失败边界与技术演进。原始文章发表于 2023-2026 年，技术更新截至 2026-07-14。

这不是 39 篇文章的缩写版。它把同一作者在三年间反复试验的 UI、角色、特效、场景、叙事、Agent 和团队工作流重新按问题组织，保留方案如何变化、哪里失败、什么时候只能做白模，以及哪些思路已经被 2026 年的新工具验证。

Unity 特效工作流的结构化预览与导入结果

先说结论

这些实验共同指向一个比“让 AI 直接生成成品”更可靠的工程范式：

  1. 先定义中间表示。 UI 用带相对布局的 JSON 或组件树，特效用粒子配置，场景用结构化对象与资产清单，NPC 用状态、记忆和动作协议。中间表示比像素坐标或一次性图片更容易编辑、验证和导入引擎。
  2. 让模型负责语义，让确定性程序负责落地。 模型擅长理解“治疗技能应该有上升、柔和、绿色的视觉语言”，不擅长稳定输出每个粒子的精确参数。更好的做法是让模型选择模板、写配置、调用受限工具，再由渲染器和导入器完成精确工作。
  3. 把预览和验证放在生成链中间。 Web 预览之所以在 UI、特效和地编三个方向反复出现，是因为它便宜、可截图、可让视觉模型复核，也能把失败挡在 Unity 导入之前。
  4. 白模价值与生产价值要分开。 许多方案已经足够让程序、策划和关卡设计并行，却不足以替代正式美术。把白模成功写成“生产可用”，会直接误导团队预算和排期。
  5. 失败实验仍然有高价值。 直接生成 Spine 数据失败，说明格式正确不等于空间关系正确；Agent 拼装场景失败，说明对象齐全不等于构图成立；早期截图坐标失败，反过来证明相对布局和语义组件的重要性。
  6. 团队效率来自接口，而不是工具普及率。 个人会用模型只能改善局部任务。团队级收益需要共享规范、资产目录、审查规则、权限、评测集和能进入既有引擎的交付物。

截至 2026-07，外部技术也沿着同一方向发展。Unity AI 的公开测试版把项目上下文、Agent、MCP 和资产生成放进 Unity 6；Figma MCP 已能读取并写回原生设计内容；GameUIAgent 使用 Design Spec JSON 生成可编辑 Figma；HY-World 2.0 直接输出 3DGS、网格和点云；SkinTokens 与 AniGen 把骨架、蒙皮和形状作为联合结构处理。这些变化没有消除人工判断，反而更清楚地表明：可编辑结构、执行反馈和领域约束，才是从演示走向制作的桥。

主题地图

UI 与结构化界面

从 2023 年的截图坐标实验，到 HTML 布局、JSON 中间表示、PSD 层级、Pencil 与 Figma MCP。核心问题不是“AI 会不会画 UI”，而是生成物能否成为程序、美术和策划共同编辑的结构。

3D 角色、绑定与动画

覆盖角色一致性、多视图生成、LowPoly、捏脸资源、极简绑定、自动蒙皮、文本动作和 Spine 失败案例。重点区分视觉上像角色、可导入引擎的资产、可稳定动画的资产三个层级。

Unity 特效生成

完整呈现 V1 到 V2 的转向：先用视频生成和序列帧绕过粒子参数，再改用结构化粒子描述、Web 预览、自反馈和 Unity Prefab 导入。它是这批文章里最清楚的一条工程升级链。

场景、地编与世界模型

比较 3DGS 重建、360 全景分层、Agent 拼装、结构化白模和实时世界模型。相似的“可走动”画面背后，可能是完全不同的资产形态和可编辑能力。

叙事、NPC 与实体智能

从四人家庭模拟到短篇叙事 Demo，再到剧情对比评审和实体 Cross-attention。该专题把生成对话放回游戏状态、记忆、目标、节奏和测试之中。

Agent、MCP 与自动化开发

从截图驱动游戏操作、自动开发小游戏、复现基础 Cursor，到 RPG Maker MCP 和旧游戏资源转换。重点是工具边界、项目上下文、验证反馈和可撤销性。

团队生产工作流

复盘探索型、中台型和项目服务型 AI 团队，讨论为什么共享提示词或培训工具不足以形成团队产能，以及怎样把实验变成可维护服务。

算法与学习实验

通过 DPO、遗传算法和 3D 基元解释三件事：偏好数据如何改变输出，评价函数如何塑造结果，结构化代码为何能帮助模型处理空间问题。

成熟度不是一条直线

研发阶段 当前更适合的 AI 介入 已观察到的可靠交付物 主要风险
概念与风格探索 图像、视频、世界模型、剧本对比 方向稿、参考图、情绪板、可交互演示 把视觉吸引力误当作资产可用性
玩法验证 Agent、结构化 UI、NPC、基元场景 小型 Demo、状态协议、布局树 缺少长期状态和异常测试
白模与并行开发 UI 层级、粒子配置、地编描述 PSD/JSON、Prefab、低模场景 正式资源替换成本未被计算
正式制作 受限工具调用、批处理、质量门禁 可审计资产、测试报告、导入包 版权、风格漂移、性能和不可重复性
运行期 受控 NPC、测试 Bot、推理模型 可观测服务、回放日志 延迟、成本、安全和剧情越界

“案例中跑通”只表示作者在一个具体案例中完成闭环；“原型可用”表示能服务验证或白模；“探索中”表示方向有价值但证据不足；“失败案例”保留负面结论；“已被后续替代”表示旧方案的主要用途已经被后续文章覆盖。它们都不是商业产品认证。

2023-2026 的演进

  • 2023：看见能力。 截图识别、自动操作和生成式 NPC 证明语言模型可以理解界面、角色和任务，但坐标、格式约束和长期状态不稳定。
  • 2024：拆分开发流程。 自动做游戏实验不再期待一次提示完成项目，而是把需求、版本、编码、编译和修复拆成阶段。
  • 2025：寻找便宜的结构。 视频抽帧、遗传算法、几何基元和 MCP 被用来降低数据、训练和集成成本。重点从“模型多强”转向“怎样接入现有工具”。
  • 2026 上半年：工作流集中成形。 UI、角色、场景、叙事和特效都出现结构化描述、预览、反馈和导入环节。失败案例也更加明确地暴露空间理解与资产化问题。
  • 2026 年 7 月：白模交付成为可验证目标。 地编和特效 V2 不再声称直接产出最终美术，而是以可预览、可导入、目录规整、方便替换的白模为验收标准。

最值得复用的模式

语义草案

先让模型解释需求，拆出对象、层级、动作、风格和限制。此时不直接写引擎资产，也不要求精确坐标。

受约束描述

把草案编译为有 Schema 的 JSON、组件树、场景程序或工具调用。字段要能校验，枚举要有限，版本要可追踪。

确定性渲染

用 Web、Unity、Blender 或其他真实运行时生成可见结果。模型输出不直接等于结果，渲染器才是事实来源。

视觉与规则复核

检查截图、层级、日志、碰撞、性能、命名和目录。视觉模型可以做一轮评审，但必须保留确定性规则和人工终审。

引擎交付与替换

生成 Prefab、PSD、模型、材质、贴图或测试脚本，并约定正式资源如何替换。没有替换契约的白模，往往只是新的技术债。

如何使用这套文档

  • 想快速判断方向，先读本页和各专题的“结论先行”。
  • 正在做原型，重点看“推荐工作流”和“何时不值得使用”。
  • 评估一个新工具，先问它输出的是图片、视频、代理几何、结构化资产，还是可执行程序。
  • 规划团队投入，使用团队生产工作流中的门禁与责任划分。
  • 需要追溯原文，查看39 篇文章索引。
  • 需要了解证据等级、引用与编辑原则，查看研究与编辑方法。

关键外部资料

输入至少两个字符。搜索在本地完成，不发送任何请求。