光度立体视觉

2023/10/19 18:42 作为本科毕设的选题，光度立体视觉重建相对前面三维重建基础中介绍的几何立体视觉重建有较大的不同，且网上的参考资料比较杂乱（很多公众号的文章要么就是错的要么就是钓鱼，盲目借鉴很容易暴雷）。这篇博客以一个小白的角度，从光度立体视觉的基本概念入手，逐步深入该领域。后续将解析一些经典的论文进行巩固（常规的几何立体视觉学习到SLAM就差不多了，后续研究重点放在光度立体领域）；

考虑到这方面资料确实不多，可以先把互联网上有用的资料收集整理完后直接看Woodham的论文。网上资料真的是…乱七八糟，本来想找一找相关的算法相关的数学原理看一看，结果全都是那种几乎不能看的文章…于是选择自力更生从论文开始入手；

2023/10/24 20:28 本来打算的是按照和本科相同的学习方法，即整理教材和搜集到的资料作为自己的知识库，但是看了几天发现完全不是自己想的那样。现在能够获取到的领域的前沿资料几乎都是英文的，中文资料或者书籍要么就是过时要么就根本没有。所以接下来的学习方法可能得换一换。参考B站视频深度学习光度立体进展我选择该视频推荐的两本书作为入门教材（写的非常好），剩下还有九篇前沿论文准备之后有一定基础了再看。因为这两本书都是纯英文，我借助一些工具和自己的知识面稍微翻译了一下作为自学使用就不放出来了。

总之，研究生阶段的学习方式一定是和本科阶段的学习方式有所区别的，具体是什么样的区别需要自行在学习过程中摸索。及时调整避免方向错误。

一、基本概念

参考链接：

• https://mp.weixin.qq.com/s/p1ALNPL5KtlppjxJBxBkfg；
• https://mp.weixin.qq.com/s/hE1q9tAaDSi-EMp3F3OJzg；
• https://www.zywvvd.com/notes/study/image-processing/photometric-stereo/basic/；
• https://pages.cs.wisc.edu/~csverma/CS766_09/Stereo/stereo.html；

1.简介

光度立体法是SFS（Shape From Shading）阴影恢复形状方法的一个分支，与SFS不同的是，光度立体法使用多幅图像来还原物体表面的三维结构，它要求物体和摄像机的相对位置不变，然后使用不同方向的光源照射物体，从而产生不同的明暗效果。测量任何给定像素的高度不是光度立体技术的主要考虑因素。相反，该技术通过使用3D表面取向及其对反射光的影响产生对比度图像，突出局部3D表面变化。

光度立体法的主要应用：

• 快消品外包装检测

• 五金圆柱表面鼓包检测

• 塑胶壳表面凹坑、压痕检测

• 金属表面划痕、压伤、凹坑检测

2.原理

光度立体法的主要用途是重建物体表面的法向量以及物体不同表面点的反射率。关键点在于它不像传统的几何重建（例如立体匹配）方法那样需要去考虑图像的匹配问题。光度立体法重建只需要采集三张以上，由不同方向的光照射物体的图像。在这个过程中，物体和相机都不动，因此图像天然就是对齐的，这使得整个过程非常的简洁。

Woodham教授提出的光度立体法有三个假设：

• 假设相机的投影是正交投影，这样图像上的点的坐标可以直接反映三维物体的表面坐标。

• 假设入射光由远处的单一点光源发出，这样照射到物体表面每一点的光的方向一致，强度一致。可采用观察距离远大于目标尺寸的点光源或者具有均匀照明强度的远心照明光源替代。
• 假设物体表面具有lambertian反射特性，即它对入射光产生漫反射，在每个方向上反射的光强都是一致的。

基于上述的假设，可以将像素值与光源以及物体表面的法向量联系在一起

公式中，ρ和N代表物体表面的特性，L和I分别表示光源j的方向和强度。

N和L都是三维空间中的3x1的单位向量，光源的强度可以用常量1表示。像素值t可以直接通过图像获得，光源方向可以提前标定求得。因此在物体和相机都不动的情况下，用至少三个不共面的光线照射物体表面i点，进而将N和ρ求解出来。

3.对比

光度立体法并不是用于取代传统几何重建方法的(因为光度立体不适用于绝对高度的重建)，而是和几何重建方法构成了互补关系

与传统立体视觉相比，光度立体可以很轻易识别两图像中的对应点，而传统方法做不到。光度立体可以计算出表面的反射系数。并且在许多情况下，用表面方向来描述物体形状比用基准面以上距离或高度来描述要好。

由于该方法特殊性，当前常用于进行多视角样品三维形貌复现，而在视觉检测领域中最典型的即为样品的凹凸缺陷检测识别。随着研究的不断深入，朗伯体光度立体法无法满足现实场景的复杂多变特性，在计算机视觉领域亦发展延伸出了非朗伯体表面的光度立体法，诸如鲁棒性估计法、复杂反射模型法、基于实例的方法和基于深度学习的方法等。

二、论文解读

参考文章：

• 《PHOTOMETRIC STEREO: A REFLECTANCE MAP TECHNIQUE FOR DETERMINING SURFACE ORIENTATION FROM IMAGE INTENSITY》
• 《Photometric method for determining surface orientation from multiple images》

相应的pdf笔记放在链接（个人不推荐这种论文学习方式，耗费大量时间不说，对知识点的理解吸收也并不是很到位）

• blog_backup/光度立体视觉论文_1.pdf at master · Gintoki-jpg/blog_backup (github.com)；