MVPNet 上预训练云数据分类算法

机器之心栏目

机器之心内容编辑部****

伴随着人工智能算法的高速发展，数据驱动的方式已经成为机器视觉领域内的关键。在过去十年里，伴随着 ImageNet 问世以后，机器视觉行业承载了 “从数据中学到” 的现代性的强盛。在 ImageNet 中进行预训练，随后转移到中下游的视觉每日任务，都可以大幅提升实体模型特性，并已变成 2D 图象行业标准化方法。

但是，因为真实的世界 3D 数据信息（一般以云数据或是 mesh 的方式）的扫描仪和标明十分繁杂，已有的 3D 数据要么就是生成的，要不与 ImageNet 规模天差地别。因而，与 2D 视觉效果行业不一样，在 3D 行业，大部分方式都是直接在一定数据上进行练习和评估，以缓解特定 3D 视觉效果每日任务（比如，应用生成的物件或是 ShapeNet 开展新思维生成，应用 ModelNet 和 ScanObjectNN 开展物件归类，应用 KITTI 和 ScanNet 开展场景理解）。

两个关键点的问题就是：（1）在 3D 视觉效果行业，未有一个通用数据集，可以和 2D 领域内的 ImageNet 相提并论。（2）这样一个数据会给 3D 小区产生什么价值还没广为人知。

为了能解决这个问题，港中大（深圳市）的科研团队给出了 MVImgNet 和 MVPNet 数据。MVImgNet 包括超出 21 万只视频内容 650 万帧图象，包括了 238 个类型的真实的世界物件。MVPNet 包括超出 8 万只，包括了 150 个类型的真正物件云数据，并且为每一个云数据带来了类型标识。 现阶段数据早已在工程首页公布，欢迎各位一起探索！

毕业论文详细地址：arxiv.org/abs/2303.06…

新项目首页：gaplab.cuhk.edu.cn/projects/MV…

GitHub 详细地址：github.com/GAP-LAB-CUH…

数据特性

MVImgNet 包括由智能机拍的 219,188 个真正物件短视频。根据对每一个短视频开展物件切分、COLMAP SfM 复建及其较密复建，获得了物件子网掩码、相机参数和点云数据等标明。表 1 展现了 MVImgNet 中数据的统计数据。

表 1. MVImgNet 数据分析

与 ImageNet 里的类型基本上都是植物和动物（以自然为核心）不一样，MVImgNet 包括了 238 个日常日常生活中的物件类型（以人为本），而且其中还有 65 个类型与 ImageNet 重合。图 1&2 展现了 MVImgNet 的类型文件目录及数据示例。

图 1. MVImgNet 类型文件目录

图 2. MVImgNet 里的多视角图片实例

对 MVImgNet 里的较密复建结论，科研团队展开了进一步的数据预处理（比如移祛除噪声太大、过度稀少一个点云），得到了一个包括 150 类、87,200 个真正物件点云的规模性点云数据集 ——MVPNet。图 3 展现了 MVPNet 中丰富多彩的实际物件云数据。

图 3. MVPNet 里的真正云数据实例

MVImgNet 能干什么？

中下游任务一：3D 复建

科研团队构建了 MVImgNet 对 NeRF 复建及其 MVS 的支持：以在 MVImgNet 上练习 NeRF，提高了 generalized NeRF 的模型泛化能力；以在 MVImgNet 上预训练自监督 MVS 方式，并把预训练模型转移到 DTU 数据上，赢得了非常好转移特性。下列展现了直接从 DTU 数据上练习模型与用 MVImgNet 预训练模型调整的量化分析比照结论：

表 2. 立即练习 / MVImgNet 预训练模型调整的值结论

在 MVImgNet 上预训练的 NeRF 有更好的模型泛化能力

中下游每日任务二：角度一致的图像理解

虽然人们可以从不同角度了解一个物体，但机器学习模型根本无法鲁棒性地做到这一点。因此，科研团队在分类任务、自监督多任务学习及其显著性差异物体检测等相关工作上做了探寻试验，证明了归功于数据库的多角度特点，在 MVImgNet 上预训练模型赢得了非常好的角度一致性。

把 MVImgNet 添加练习提高了分类算法的角度一致性

在 MVImgNet 上预训练模型，能够提高实体模型对不同角度的可扩展性

MVPNet 能干什么？

在 MVPNet 数据上，科研团队构建了其对于云数据归类及自监督云数据预训练的支持。以在 MVPNet 上预训练云数据分类算法，在 ScanObjectNN 数据上展现出了非常好的转移特性。但在 MVPNet 上预训练的 PointMAE（一种云数据自监督学习方法）也远远超过了现阶段的 SOTA 方式。

在%20MVPNet%20上预训练模型，展示出了非常好的转移特性

MVPNet%20Benchmark%20Challenge

在%20MVPNet%20的前提下，科研团队还指出了一个全新的真正物件云数据归类基准测试。科研团队构建了一个包括%2064000%20点云的测试集及其%2016000%20点云的验证集。相较于%20ScanObjectNN，MVPNet%20一个点云总数大量，归类难度比较大，也更符合于真实情景。

流行方式在 MVPNet Benchmark 里的标值结论

未来展望

我们坚信 MVImgNet 能够为全部机器视觉小区带来一定的众多概率和挑战，希望和大家共同探索！

大量数据与试验小细节客户程序原毕业论文。