群发资讯网

又花了两个亿token尝试游戏UI逆向

目的:通过AI给出的设计稿,希望AI可以直接通过平面设计图,输出具有交互、层级的界面到unity。

难点:
AI无法直接通过UI设计稿,自主导出具有资源图+层级的UI。
UI设计稿的图层深度、层级,AI需要通过视觉推理,得出结论。但视觉推理的方式,又和LLM的基本逻辑不匹配,导致效果很差。

解决方式:
某top项目问了一下,有带图层设计图的方案,落地方式也并非harness接管,而是脚本和skill,无图层的目前没落地。
问了一些AI管线成熟的在研项目,也遇见了跟我们一样的问题,都是退化到手动拆分图层、资源。
查看git上大量的AI项目,纯AI拆分美术资源的,基本都是矢量图,用位图的效果都不是很好。

最终方案为:
AI出UI设计图、设计语言规范文件。
AI拆分UI元素标准件位图。
人工标注界面当中,每个UI元素与具体标准件的对应关系,放在skill当中,让AI按照预设拼接至Figma,再输出至引擎。
缺少的元素,让AI通过矢量图或者资源生图方式自行补充,人工再返回资源生图+标注。

效果总结:
整体还原度,70%~80%。拼接是AI舒适区,还原度100%。

方案不足:
缺失元素的AI生图效果不够规范,位图、矢量图乱安排。
人工介入的只有UI标准件和调整资源环节,虽然达不到全自动,但已经能省出很多人力成本。

#UI #游戏UI #AI生图 #大模型 #游戏开发 #harness