三维实体检测解决方案

三维实体检测解决方案

今天，我们很高兴发布Objectron数据集，这是一个短的，以对象为中心的视频剪辑的集合，可以从不同的角度捕获更大的一组公共对象。每个视频剪辑都随附有AR会话元数据，其中包括相机姿势和稀疏点云。除此之外，数据还包含每个对象手工标注的3D边框，用来描述对象的位置，方向和尺寸。数据集包括15K带注释的视频剪辑，并补充了从不同地理区域的样本中收集的超过4M带注释的图像（覆盖五大洲的10个国家/地区）。

三维实体检测解决方案

除了和数据集一起之外，我们还将共享一个针对四类对象的三维实体检测解决方案-鞋子，椅子，杯子和照相机。这些模型在MediaPipe中发布，MediaPipe是Google的跨平台可定制ML解决方案的开源框架，适用于实时和流媒体，该解决方案还支持设备上的实时手部，虹膜和身体姿势跟踪等ML解决方案。

在移动设备上运行的3D对象检测解决方案的示例结果

参考3D对象检测解决方案图

3D对象检测的评估指标

我们提出了一种算法，可为通用三维面向盒计算准确的3D IoU值。首先，我们使用Sutherland-Hodgman多边形裁剪算法计算两个盒子的面之间的交点。这类似于用于计算机图形学的视锥剔除技术。相交的体积由所有修剪的多边形的凸包计算。最后，根据两个框的交点的体积和并集的体积计算IoU。我们将在发表数据集的同时发布评估指标的源代码。

使用多边形裁剪算法计算并集的三维交点(左):通过对方框裁剪多边形计算每个面的交点。右:通过计算所有交点的凸包计算交点的体积(绿色)。

数据集格式

视频片段

注释标签（实体的3D边框）

AR元数据（例如照相机姿势，点云和平面）

已处理的数据集：带注释帧的改编版本，图像的格式为tf.example，视频的格式为SequenceExample。

支持脚本以基于上述指标运行评估

支持脚本以将数据加载到Tensorflow，PyTorch和Jax中并可视化数据集，包括“ Hello World”示例

有了数据集，我们还将开放数据管道，以在流行的Tensorflow，PyTorch和Jax框架中解析数据集。还提供了示例colab笔记本。

通过发布此Objectron数据集，我们希望使研究界能够突破三维实体几何理解的极限。我们还希望促进新的研究和应用。例如视图合成，改进的三维表达和无监督学习。加入我们的邮件列表并访问我们的github页面，请随时关注未来的活动和发展。

致谢