45 秒内将任何单个图像转换为 3D 模型,无需逐形状优化的ChatGPT大模型开源!

各位星友,大家好,我是千寻哥,今天继续分享项目,上一次有一位星友私信我:千寻哥能不能搞一个2D图片转3D模型图片的项目。你还别说!千寻哥真的找到了!大家一起来看看。


随着AI技术的飞速发展,AI备受关注的同时,仍然颇受争议,并受到抵制!今天咱们不提AI的“不干好事”,来盘点盘点AI超新技术,让AI做不了砸饭碗的!而是为“我”所用!疯狂干活!提升工作效率,提高生产力!



相信界内人士都遇到过这个问题:有了单张图像,想要借鉴参考其他角度,只能凭空想象!要不就从头开始创建3D模型了!


不管对个人来说还是专业艺术家开发团队都是费时又耗力的大工程!将一张2D图像上传,便能转换为3D模型是所有设计师、建模师等行业内人士的梦想,随着AI的发展,将这一梦想照进现实!走!咱们看看搞出了什么新花样~


一、One-2-3-45转换模型使用


研究人员提出了一种新的单张图像3D重建方法,称为One-2-3-45,该方法拍摄物体的一张照片,在45秒内立刻生成360度3D带有纹理的模型。


One-2-3-45社区:

https://huggingface.co/spaces/One-2-3-45/One-2-3-45


One-2-3-45这一方法将2D图像重建3D模型的成本降到更低,效率变得更高!输入2D图像还原更贴切原图的3D模型!就问你这个新技术是不是很牛!


将满足2D视图条件的Zero123这一图像转换为3D模型的过程,研究人员称由于传统的重建方法难以应对不一致的多视图预测,便基于SDF的广义神经表面重建方法,重新构建3D模型,并提出了几种关键的训练策略来实现360度3D模型的重建。


1、选取原始2D图片进行上传


2. 待转换的物体进行目标检测与分割


3. 可能因为以上的这张图片是一个白色背景的图片,所以“抠图”的效果不好,我们换成下面这个菠萝!


4. 以下是八个方向的图片投影效果图



5. 将进行操作的八张图片,进行立体模型的合成,如下图所示



6. 最终得到的“菠萝”立体模型



虽然生成的模型效果,还有一些差强人意,但是从免费且容易部署的这个角度,感觉性价比不错。


二、Common Sense Machines转换模型使用


另一款新技术:Common Sense Machines(CSM)也不得不提一下!


Common Sense Machines(CSM)是一项可以免费使用的服务,可以使用AI将单张2D的图像转化创建为3D模型。生成的模型可作为资产进行使用或用作区块模型。


模型接口的请求代码示例


import requests
import json

url = "https://api.csm.ai:5566/image-to-3d-sessions"

payload = json.dumps({
"image_url": "https://via.placeholder.com/300/09f/fff.png"
})
headers = {
'x-api-key': '<X-API_KEY>',
'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)
print(response.text)


其中的API_key注册账号后才能获取



下一步进入image-to-3d频道,在输入部分使用/get3d命令从文件夹上传图像或者添加URL。所创建的模型就会发布在CSM Show Case上,如果想提前查看所创建的3D模型,也可以通过CSM Show Case页面上进行查看。


千寻哥选取了其中我认为不错的小城生成图,以下为CSM创建通过2D图像转化3D所创建的模型图:、


1. 红色跑车3D模型生成



2. 二次元小姐姐,3D模型生成



附上Common Sense Machines(CSM)地址:

https://3d.csm.ai/discord-sessions


又是被AI震撼的一天!既然咱们无法阻止AI飞速发展的进程,就顺势而为,好好利用可利用的吧!屏幕前的你觉得AI的发展是利大于弊,还是弊大于利呢?赶快动手试试吧!


我是千寻哥,一个只讲干货的码农,我们下期见!

0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
千与编程
下载 APP