跳转到内容

无需专业设备,普通用户也能够拍照进行数据采集,最终生成合适的模型

解决批量化模型制作问题,项目合作请联系我们机器人AI销售总监 Kiviman72

数据采集

使用弥知扫描建模APP进行数据的采集(拍照)

APP安装

DANGER

APP已失效,建议使用RealityScan、MagiScan、宝丽来、Metascan等扫描建模

INFO

  • 仅支持iPhone设备
  • 仅支持iOS15.0及其以上系统版本

下载地址:http://d.3appstore.com/kuqp

INFO

  • 首次安装后,点击图标会出现如上提示,请点击系统“设备” - “通用” - “VPN与设备管理” 按照下图所示操作

INFO

  • APP将于2022.7.28过期,到时候重新安装APP即可

物体说明

建模效果规格要求代表物体
优秀+ 物体纹理丰富
+ 物体不反光
+ 物体尺寸适宜
+ 物体是刚体,以免拍摄过程中变形
+ 鞋子
+ 包包
一般+ 物体纹理较弱
+ 物体轻微反光
+ 物体含有镂空效果;
+ 手办:轻微反光/纹理较弱
+ 绿植:含有镂空效果
较差+ 物体纹理很弱
+ 物体纹理重复
+ 物体反光强
+ 物体镂空很大
+ 马克杯:含有较多纯色,纹理较弱;有些定制重复图案的马克杯
+ 金属物体:反光强
极不推荐+ 物体纹理大片纯色
+ 物体反光极强
+ 透明或半透明物体
+ 柔性物体
+ 玻璃杯:物体反光极强/物体透明

物体图像采集说明

  • 将采集物体静置于白色平面上,这里建议购买一个小型摄影棚
  • 光照:柔和均匀,避免灯光过暗,或某一面有强烈的阴影。这里建议购买补光灯进行打光
  • 拍摄:覆盖均匀且全面的多视角,含仰视、平视、45度俯视、90度俯视,每组建议拍摄18~36张,总共建议72~144张,总张数不建议超过200张,每组照片中所有图片间隔相同的角度
  • 画质:全过程采集中物体屏占比尽量大且完整,要求尽量保证拍摄无虚焦、无运动模糊、无抖动模糊。
  • 其它:不隔着玻璃拍摄,若需拍摄物体底部,则翻转物体后继续拍摄。

INFO

如下图

  • 搭建摄影棚,为了让被扫描物体静置与白色平面上
  • 通过多盏补光灯,让物体的灯光均匀柔和
  • 物体放置在一个转盘上,为了可以让物体每旋转一定角度进行拍照
  • 拍摄设备固定在支架上,为了让拍摄无虚焦、无运动模糊、无抖动模糊

INFO

如下图,为了每隔一定角度进行拍摄,是为了保证拍摄的前一张图片与后一张图片有70%以上重叠,便于程序进行计算建模

INFO

如下图,展示了物体所需拍摄的角度,需要明白为什么需要尽可能的采集多一些角度,只有程序收集到各个角度的图像数据,才能很好的生成效果,如果存在一些角度图像数据缺失,程序就会计算一些无效数据,导致模型出问题。

物体图像采集数据集示例

名称效果数据集
Nike Air Force 1
https://pan.baidu.com/s/1OKvs_p4gZuyg13UojY0yiA 提取码: 2mkn
Nike Pegasus
https://pan.baidu.com/s/1npkvDsu9QVCxORaHH0F_1A 提取码: fy6k
Fruit Cake
https://pan.baidu.com/s/1jsUcpQn59UlOOsJwYd4nAA 提取码: hjip
Lemon Meringue Pie
https://pan.baidu.com/s/18ZX_jlkKL3IbPpBepBT05w 提取码: 5gqx
Rock
https://pan.baidu.com/s/1XAaK54u_4hutFVjH1xToYA 提取码: tfwu

物体图像采集示例-鞋子

1.手机0°放置,转盘转动一圈拍摄18~36张

2.手机45°放置,转盘转动一圈拍摄18~36张

图有误,鞋子依然平放

3.手机90°放置,相机拍向鞋窝,转盘转动半圈拍摄18~36张

4.鞋子侧放,手机0°~15°,转盘转动一圈拍摄18~36张

5.鞋子侧放,手机45°放置,转盘转动一圈拍摄18~36张。俯视45°拍摄时,保证图片可以同时看到鞋面和外鞋底

APP使用

点击右下角“M”按钮切换为“A”,进行自动拍照,程序会每间隔3秒进行一次拍照

导出采集的物体图像数据

打开手机系统自带的“文件”APP,找到“弥知扫描建模”文件夹,点击进入,可以看到Captures文件夹,继续点击便可以之前采集的物体图像数据,选择一个文件夹长按,弹出菜单,点击共享,便可以通过隔空投送到macOS电脑。

INFO

也可以将文件夹压缩为zip,然后可以通过微信发送

  1. 长按文件夹,弹出菜单,点击压缩按钮;
  2. 长按压缩好的文件,弹出菜单,点击共享,选择微信,就可以将压缩包发送给好友

生成模型

将采集的物体图像数据通过邮件发送到邮箱wendell.yang@kivisense.com

目前暂时由弥知官方进行模型的生成与处理,最终提供成品的glb模型与usdz模型

INFO

即将开放生成模型的工具APG,可以直接生成不同贴图与三角形数的usdz模型文件,然后进行贴图的尺寸优化与压缩,以及模型格式的转换,最终提供Kivicube引擎体验链接或小程序接入页面或glb模型文件

生成的模型等级如下

等级名称三角形数(以单只鞋子举例)贴图尺寸贴图内容
raw△△△△
18万三角形数
4096x4096一张原始Diffuse贴图
full△△△
10万三角形数
4096x4096
medium△△
5万三角形数
4096x4096
reduced
2.5万三角形数
2048x2048
preview
2.5万三角形数
1024x1024一张Diffuse缩略贴图

INFO

扫描的物体不同,三角形数也不同