为什么说三维重建才是计算机视觉的灵魂?

为什么说三维重建才是计算机视觉的灵魂?

编者按：在“全民计算机视觉”的今天，其发展历程却鲜少有人追溯。梳理研究的过去将能让我们更好地探索未来。权龙教授为我们介绍了三维重建的历史发展与应用前景，也为大家在研究学习、职业选择等方面给出了一些实用建议。

王井东：您的主要研究方向是三维重建，它的发展现状和应用前景如何，您为什么看好它？

权龙教授（左）和王井东博士（右）合影

王井东：三维重建在计算机视觉中确实非常重要，您可以带大家回顾一下计算机视觉和三维重建的发展历程吗？

权龙：1987年在伦敦举办的第一届国际计算机视觉大会ICCV可以作为现代计算机视觉研究的一个开端。之前很多人认为做图像处理就是计算机视觉，其实是二者是有区别的。

计算机视觉的目标是对图像进行理解。准确来讲，计算机无法做到“理解”，只能做到“认知”。我们的研究目的是从图像中获取视觉特征，有了视觉特征才能开展一系列的工作。因此回顾计算机视觉的发展历程，根据算力条件的不同，我们可以看到一个特征提取的演化过程。

90年代，人们对三维重建愈加重视，当时欧洲比美国要领先。几何也追求特征提取，但一维的edge不适合几何计算，几何最本质的元素是点，所以很多工作开始围绕点的特征去展开，对点的特征进行描述，然后就可以把很多东西变成矢量的无序集合，再做统计。三维重建的终极目标是用非标定相机（uncalibrated camera）进行重建。

1992年，Oliver Faugeras和Richard Hartley各自独立地解决了非标定相机两张图像下的三维重建问题，引入了基于七点算法的基础矩阵（Fundamental Matrix）概念，这标志着三维视觉的崛起。

1994年，我提出了六点算法（Invariants of six points and projective reconstruction from three uncalibrated images），解决了非标定相机三张图像下的三维重建，进而在理论上彻底解决了多视重建的几何问题（multi-view geometry）。这两项工作共同奠定了三维重建的理论基础，对计算机视觉的发展起到了决定性的作用。

所以从特征提取这条线索上看，虽然目前计算机视觉看似处于一轮新的热潮，但事实上一直以来大家都在做同样的事情，只不过在不同的阶段，提取的特征和采用的方式有所不同。

王井东：现在主流的计算机视觉研究主要集中在欧洲、美国和中国。您认为这三者的发展现状和未来将如何？

权龙：确实是三足鼎立。上个世纪八九十年代，欧洲的计算机视觉发展迅速，研究人员在一定意义上把计算机视觉当作一个应用数学的问题。三维重建需要大量传统数学知识，这批研究人员都有非常好的应用数学基础，那就用数学工具去解决这些视觉问题。

同期，美国计算机视觉的研究人员也非常活跃，但主要集中在应用领域，研究方向并不是非常清晰。随着2012年这一波由卷积神经网络引发的人工智能的再次崛起，美国在应用方面突飞猛进，欧洲依然保持扎实的基础研究的风格。后起之秀就是中国了，飞速发展的经济和创新气氛使得计算机视觉的研究和商业应用在极短的时间内快速发展起来了。

王井东：您不仅在计算机视觉的研究上一如既往，也创立了专注三维重建的公司Altizure，那么关于学术和产业的选择，您能为同学们分享一些经验和建议吗？

权龙：每个人都有不同的理想和发展方向，有的人可能更适合做应用，有的人更适合做学术研究，这是因人而异的。没必要每个人都要去做科研当教授，也没必要每个人都去创业，只要能发挥自己的特长，选择哪一条路都是非常好的。在这个多元化的社会，大家都在从不同的角度推进科技的进步。

王井东：当时是什么促使您从学术界“跨界”进入产业界？

权龙：很简单，我一直在研究计算机视觉三维重建，以前的结果还不成熟，而到了某一个时机它终于能投入应用了，那我们当然要做应用，这是研究的最高境界。研究就是这样，可能在很长时间里效果都不够理想，那我们就要继续研究，但当它有了用武之地时，我觉得投入实践是顺理成章的。

王井东：您认为一个计算机视觉方向的学生应该学好哪些知识，才能做更好的研究？

权龙：我对所有的人的建议是，打好应用数学和计算机的功底。应用数学是理论基础，计算机是实现手段，两方面的能力缺一不可。我不太赞同大学开设人工智能专业的做法，其实人工智能在一定意义上就是应用数学，尤其是卷积神经网络，本质上是数学优化和统计，你要有很好的应用数学功底。

权龙：“瓶颈期”不是一个合适的词汇。因为它本质上是一个应用科学，现在有了卷积神经网络这样强大的工具，所有的应用方向都可以重新去摸索。刚才讲到特征提取，提取完特征后去做具体的应用，很多东西是可以继续改进的，差别在于进步有多大。

卷积神经网络的特征提取已经是一个很大的突破了，在这个基础之上，我想会有一系列新的应用出现。如果实在要说突破，那就是硬件和算力的突破。目前大热的自动驾驶领域将很大力度地推进算力的发展，VR、AR也是同样。有朝一日，如果算力能够有一个显著的突破性进展，很多无法想象的事情将会发生。