中娱网

Instruct-NeRF2NeRF,这个AI模型可以让用户通过文本编辑3D场景 世界报资讯

2023-04-19 15:07:16 来源:站长之家

站长之家(ChinaZ.com)4月19日 消息:Instruct-NeRF2NeRF 使用生成式 AI 模型的方法,可以根据文本输入编辑3D 场景。


(资料图片仅供参考)

今年早些时候,加州大学伯克利分校的研究人员展示了InstructPix2Pix,这是一种允许用户使用文本指令在 Stable Diffusion 中编辑图像的方法。例如,该方法可以替换图像中的对象或更改样式。

InstructPix2Pix项目网址:https://huggingface.co/spaces/timbrooks/instruct-pix2pix

注:文中图片均来自Instruct-NeRF2NeRF 项目视频案例截图

现在一些研究人员已经将他们的方法应用于编辑 NeRFs。Instruct-NeRF2NeRF 从经过训练的 NeRF 和用于训练的图像开始,可以根据文本提示一张一张地编辑训练图像,并使用这些编辑后的图像重新训练 NeRF。

注:NeRF(Neural Radiance Field,神经辐射场)模型是一种利用多层感知器(MLPs)进行隐式神经场景体绘制的新型视图合成方法。到目前为止,NeRFs主要用作3D模型和3D场景的一种神经存储介质,然后可以从不同的相机视角进行渲染。

Instruct-NeRF2NeRF 支持简单物体和真实场景

该团队展示了如何使用这种方法给头部戴上牛仔帽、将其变成3D 油画、将其变成蝙蝠侠或将其变成爱因斯坦等。

其它的例子还有改变自然拍摄的季节、时间或天气;改变一个人的衣服。

该团队称,该方法“能够编辑大规模、真实世界的场景,并且能够比之前的工作完成更逼真、更有针对性的编辑。”

Instruct-NeRF2NeRF 根据迭代编辑的图像更新 NeRF。此任务由 InstructPix2Pix 执行,它以文本输入为条件。

Instruct-NeRF2NeRF 需要10到15GB 的显存

该团队正在发布三个不同版本的 Instruct-NeRF2NeRF,它们需要15到10GB 的 RAM 视频内存。最大的版本提供最佳的结果。

这种新方法将AI技术应用于3D场景处理,可以实现更准确的编辑操作,并为研究提供了新的可能性。这种模型有利于加速图形处理领域的创新,为人类创造更好的视觉体验提供了新的思路。

Instruct-NeRF2NeRF 项目页面上提供了更多示例、代码和模型。

Instruct-NeRF2NeRF项目网址:https://the-decoder.com/instruct-nerf2nerf-lets-you-edit-nerfs-via-text-prompt/

(举报)

标签:

热门推荐