Original post · AI translation
这对开放式 3D 生成太有利了。去年的尖端技术,今年就开源了。
@Hi3D_AI 已将 Hi3D v1.0(原名 Sparc3D)开源。这是一款图像转 3D 模型,从各个角度看都能保持形体完整,而且在发布前就已用于 Hi3D 的正式产品。
> 任何人都可以在自己的服务器上私有化运行它,将其接入内部系统,并在此基础上为所在行业开发工具和应用。 > 代码和模型权重已发布在 GitHub 和 Hugging Face 上,可免费使用,包括商业用途,
大多数图像转 3D 模型都是按正面效果来评判的,因此背面、底部以及翅膀、角和把手等细薄部位往往会变得臃肿、残缺或直接缺失。
Hi3D v1.0 接收图像和一个粗略的初始形状(由另一模型生成的“粗网格”),然后分 3 轮对其细化,分辨率依次为 512、1024 和 1536。
这里的分辨率指的是将物体周围的空间划分为称作体素的小立方体,也就是 3D 像素;1536 意味着每条边有 1536 个立方体。
完整的网格会包含超过 36 亿个立方体,因此该模型采用稀疏方式处理,只处理表面附近的立方体,跳过空白空间和物体的实心内部。
在每一轮中,“自剪枝”解码器以精细 8 倍的尺度重建表面,并剔除最终判定为空的立方体。
训练数据从 50 万个增加到约 200 万个经过筛选的 3D 资产。
在与另外 8 款图像转 3D 模型(包括 TRELLIS.2 和 Hunyuan3D-2.1)的比较中,它在多视角保真度(0.75)和细节丰富度(0.841)两项指标上得分最高:前者检验形状从 6 个相机角度观察时是否一致、完整,后者评估精细的表面起伏和小部件。
它的切片成功率也达到了 90%;这一指标指 3D 打印机软件能够将模型切分为打印层的比例。相比之下,唯一另一款达到 1536 分辨率的模型 Pixal3D 为 7%,TRELLIS.2 为 17%。
在 13 名具有专业 3D 经验的人进行的 562 次并排评分中,Hi3D v1.0 有 83.5% 的时候被选中。
它只输出形状(不含颜色或纹理),需要 NVIDIA GPU;在每月用户数不超过 20 万或每月收入不超过 100 万美元的情况下,其代码和模型权重可免费用于商业用途。
Hi3D 1.0 现已开源
https://t.co/FlZfsBfs0T
View this post on X ↗