DreamTech 近日推出了其创新成果 Direct3D，这是一种基于 3D Diffusion Transformer（3D-DiT）技术的原生 3D 生成模型。
该模型在解决高质量 3D 内容生成方面取得了重大突破，尤其是在克服从 2D 图像转换到 3D 模型过程中常见的几何扭曲和细节丢失问题方面表现出显著优势。据了解，该模型能够直接处理野外输入的图像，而无需依赖多视图扩散模型或 SDS 优化。
2024 年 5 月，DreamTech 官宣了其高质量 3D 生成大模型 Direct3D，并公开了相关学术论文 Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer。这是首个公开发布的原生三维生成路线的 3D 大模型。
去年初，业内部分人员开始尝试原生 3D 路线，即不经过中间的多视角 2D 图片或者多视角迭代优化直接获得 3D 模型。原生 3D 路线在原理上相较 2D 升维方法具有显著的优势，然而，其模型训练及算法开发一直存在诸多挑战。
如今，得益于 Direct3D 模型中的两个关键组件：直接 3D 变分自动编码器（D3D-VAE）和直接 3D 扩散变压器（D3D-DiT），3D 生成领域大步跨越进入了商用时代。
D3D-VAE 高效编码高分辨率 3D 形状，采用半连续表面采样策略直接监督解码几何体，而非传统渲染图像。D3D-DiT 则建模 3D 潜在变量分布，融合三个不同潜在空间的特征，实现大规模 3D 数据的生成。该团队还引入了语义和像素级图像条件的图像到 3D 生成流程，通过大量实验，证明了 Direct3D 在大规模预训练后相较于以往方法展现出了更好的生成质量和泛化能力。
基于 Direct3D 大模型，DreamTech 基于 Direct3D 大模型推出了两款新品，现开放测试。
首先是面向 C 端用户的 Animeit!，能将任意图片或文字转换为高质量的二次元 3D 人物，并支持骨骼绑定和动作交互，生成角色精细度极高，适用于二次元社区 MMD 制作。另一款是面向创作者的 3D 内容创作平台，通过文本描述或单张图片，用户可在1分钟内获得高质量、精准还原的 3D 模型。
DreamTech 专注于 3D AI 技术，致力于提升全球 AIGC 创作者和消费者的体验，愿景是利用 AI 技术打造与真实世界无缝对接的 4D 时空体验，实现通用人工智能（AGI）。创始团队包括英国两院院士、国家级青年人才等，核心成员毕业于牛津大学、香港中文大学等知名学府，并有在苹果、腾讯、百度等企业的工作经验。创始团队曾创立多家3D领域标杆公司，被苹果、谷歌、博世等收购。
资料来源：综合报道；图片来源：DreamTech 官网截图
