AI 3D 生成模型:究竟是什么在生成 3D 房间

Flur Team6 分钟阅读
Flur 的 catalog/create 聊天界面,提示上传一张家具照片以构建对应的 3D 模型

「AI 3D 生成」这个说法,被用来指代至少四种本质上完全不同的技术, 而它们产出的东西并不是同一种。如果你正在评估任何一款声称能生成 3D 内容的工具, 真正决定输出结果能不能在下游被实际使用的,是它背后的技术,而不是营销文案。

文本转 3D 与图像转 3D 的网格生成模型

这类模型接收一段文本提示或一张参考图片,一次生成过程直接输出一个 3D 网格—— 顶点、面片,通常还有一张贴图。从它被优化的那个角度看,结果可以相当惊艳。 局限性会在你需要修改任何东西的那一刻出现:这个网格是一整块不透明的几何体, 底层没有「腿」「座面」「坐垫」之类的描述可供操作。要编辑,只能手动重做表面, 或者重新生成一次,然后寄望新结果更接近你想要的样子。它也没有可靠的办法 让你问「这东西有多宽」并得到一个可信的数字——几何结构就是模型碰巧生成出来的样子, 并非来自真实世界的尺寸,而如果这个物体需要实际放进某处,或者要按规格生产, 这一点就非常关键。

辐射场重建

这是高斯溅射及同类方法背后的技术:从多张照片中捕捉一个真实场景, 充分重建空间中每一点的光照行为,从而能渲染出原始照片里没有的新视角。 输出从任意邻近角度看都真正做到写实——因为它重建的是真实存在过的东西, 而不是凭空发明几何结构。但从任何传统意义上讲,它也不是可编辑的几何结构; 没有网格,没有材质列表,没有任何可以查询「这有多宽」的东西,因为一个溅射场 是一种被捕捉下来的外观,而不是一个结构化对象。

基于扩散模型的纹理合成

这是四种技术里范围较窄但确实有用的一种:给定已有的几何结构, 扩散模型为它生成一个合理的纹理或材质贴图——木纹、织物纹理、表面磨损—— 而不触碰底层网格。这是一个贴图步骤,而不是生成步骤;它假定几何结构已经存在, 全部精力放在表面看起来怎么样。

VLM 驱动的参数化构建

四种里最新的一种,也是在「AI 3D 生成」的梳理中最常被忽略的一种: 视觉语言模型并不直接输出几何结构。相反,它写出一份结构化的构建配方——尺寸、 比例、材质选择、形态——再由确定性引擎执行,构建出实际的网格。模型的工作 是描述,而不是构造。

catalog/create 聊天面板中已输入一段家具描述,准备根据配方构建 3D 模型

这正是 Flur 的 /catalog/create 背后的方式:一个 VLM 写出一份 AssetRecipe(资产配方), 再由一套确定性的 Three.js 流程构建出来——这个流程里没有第三方网格生成厂商参与。 输出从头到尾都保持为一个结构化对象,而不是一个渲染出来的猜测。

实际带来的结果是,构建出这件资产的同一份配方,事后也能用来描述它。 问一件家具属于哪个类别、占地面积多大、该朝哪面墙,都有实实在在的字段可以读取答案—— 因为这些信息本来就是构建指令的一部分,而不是事后从一个成品网格反推出来的。

真正重要的取舍

以上每一种技术,都在同一个维度上做取舍:可编辑性。生成的网格和重建的 辐射场都能给你一个能看的东西,但都给不了你一个能查询的东西——你没法问一个 溅射场「这个房间有多宽」,也没法问一个生成的网格「换一种材质」并得到一个干净的答案, 因为它们都没有像配方那样,从构建之初就保留这类信息。

基于配方的资产,单件产出速度比一次性网格生成要慢,因为它要先被写出来, 再被构建,而不是一次生成过程就完成。它换回来的是:每件资产在事后都保持 可检查、可编辑——你可以修改一个尺寸、替换一种材质、查询一件物品的类别, 因为这些信息从一开始就没有被丢掉。

该选哪一种

没有哪种技术是普遍更好的——它们解决的是不同的问题。如果你需要一个已存在的 房间或物体的写实视图,重建技术是正确的工具,任何网格生成模型都做不到这一点。 如果你需要新的、比例准确、可编辑的家具,并且要求它能正确放进真实房间、 之后还能继续调整,基于配方的方式正是为这项工作而生的。而如果你已经拥有 正确的几何结构,只需要一个更好看的表面,基于扩散模型的纹理合成就能单独解决 这个更窄的问题——它不是前三者的竞争者,更像是一个假定前面某个环节已经完成的 收尾步骤。

立即开始

想了解基于配方的构建方式在一次完整房间搭建中处于什么位置,可以参考 3D 模型搭建流程完整解析。如果你正在 权衡辐射场重建与可编辑几何结构,用于室内漫游场景,可以参考 高斯溅射 vs 网格 vs 全景。 想更深入了解 Flur 基于配方的目录工具具体是怎么运作的,可以参考 用 AI 搭建 3D 家具目录。 想了解同样一种由 VLM 驱动的方式如何应用于编辑已有场景、而不是生成新资产,可以参考 用聊天编辑一个 3D 房间

了解工作原理,或申请提前访问, 在你自己的家具上试试基于配方的生成方式。