这个东西是我接触的第一个非2D方面的算法，到目前为止其实也没有完全搞定，不过可能短时间内也无法突破。先把能搞定的搞定吧。
这个东西也有一大堆参考资料，不过呢，搜来搜去其实也就那些同样的东西，个人觉得就属这个文章最经典，既有说明，也有图片，还有代码：
Photometric Stereo Chaman Singh Verma and Mon-Ju Wu
https://pages.cs.wisc.edu/~csverma/CS766_09/Stereo/stereo.html
另外，github上也应该有一些参考的资料吧，我主要参考的是 https://github.com/chaochaojnu这个中国小哥的博客。
目前为止，我只实现了提取Albedo、Normal Map和Normal Vectors三个结果。
从硬件上讲，这算法应该需要一个固定位置的相机（应该是要和目标垂直吧），以及至少3个以上的平行光源，一般实际上可能需要至少4个以上的光源吧，然后每个光源单独打光，单独拍一张图片，共得到N个不同的图片，然后根据这个N个图片，合成一个结果图以及得到额外的梯度和高度信息。
在Halcon中，有对应的photometric_stereo算子实现该功能，该算子除了要提供N个图片，还需要提供 Slants和Tilts两个参数，你去看他们的英语翻译，其实都是倾斜角，个人理解Tilts就是光源在XY平面投影时和X轴的夹角，而Slants就是光源和XY平面的夹角。
在我刚刚提供的两个链接里，他们都不是直接提供 Slants和Tilts，而是直接利用标准物体在对应光源下拍照，得到几幅标准图像，然后由标准图像的像素值推算出对应的归一化光源向量，这个方法也是不错了，省去了相机和光源位置的标定。
有了这些参数，就可以进行算法的执行了，对于Normal Map的获取，在Photometric Stereo这个文章里有一大堆推导，开始看不懂，慢慢的又觉得懂了，然后又有点懵逼，接着折腾又似乎清晰了。
其实不用管那么多，我们看看Photometric Stereo给出的NormalMap.m代码里的细节吧：
for i = 1:nrows
for j = 1:ncols
if( maskImage(i,j) )
for im = 1:numImages
I(im) = double(grayimages(i,j,im));
end
[NP,R,fail] = PixelNormal(I, lightMatrix);
surfNormals(i,j,1) = NP(1);
surfNormals(i,j,2) = NP(2);
surfNormals(i,j,3) = NP(3);
albedo(i,j) = R;
end
end
end这里的surfNormals就是对应上图中的Normal Vectors，albedo就是反射率图。
lightMatrix是多个光源的向量，I是多个图对应的像素值，这里的关键在于PixelNormal函数。
unction [N,R, fail] = PixelNormal(I, L)
fail = 0;
I = I';
LT = L';
A = LT*L;
b = LT*I;
g = inv(A)*b;
R = norm(g);
N = g/R;
if( norm(I) < 1.0E-06)
fprintf( ' Warning: Pixel intensity is zero \n' );
N(1) = 0.0;
N(2) = 0.0;
N(3) = 0.0;
R = 0.0;
fail = 1;
end
end仔细看这个函数，其实就是上面工时最后一部分的直接实现，什么转置、乘积、求逆、归一化等等。
这个M代码要稍微修改才可以运行，我尝试了下只是运行获取Normal Map这一块，4个500*500的大小的灰度图，需要大概2s的时间，这个时间其实对于工程项目本身来说是没有任何意义的。所以也验证了一句话，matlab只是实验里的工具。
当然，M代码本身也常常只是用来作为验证一个算法的结果是否正确的第一步而已。
要真正让他变得有意义，像这么大的图，一个合理的处理时间是不大于2ms，这个优化其实也不是很困难，只要你仔细的看看PixelNormal函数里的数据和代码。
里面最耗时的其实是inv(A)，矩阵求逆需要用到LU分解，很少麻烦，但是实际上，我们注意到这里的A值其实是由L一个值决定的，L是什么，是光源的向量矩阵，这意味着什么，就是L是不变的。没有必要每次在循环里计算矩阵的逆的。 这是最重要的一个问题和耗时点所在。
了解到这个问题后，我们其他的优化手段就是代码层次上的了，比如用C++写算法、把PixelNormal这个小函数直接集成到循环内部、使用SIMD指令加速等等。
在几个matlab代码里，还要求提供一个mask图，有这个的原因是很多立体光度法拍摄的图片其实有很多黑色的部分或者说可以确定不是目标的部分，这部分如果处理， 是会拖累算法的速度的，因此用个标定好的MASK去删除他，这也无可厚非，不过在halcon里似乎没有这个参数。
我目前也就只研究到这里，至于后面的深度图或者说是高度图的实现，文章里提供的都是解一个很大的稀疏矩阵，这个已经超出了我所能自行编程的范围。暂时没有能力去解决了。
在Halcon中，利用光度立体法去实现一些检测目标的一个重要应用是通过photometric_stereo算子获取对应的gradient，然后在利用derivate_vector_field 获得梯度的平均曲率场，我目前还不明白这个gradient到底代表了什么值，是上面的M代码里的surfNormals向量吗？有没有哪位朋友知道呢。
通过和halcon比较，目前获取的反射率图，基本还是差不多正确的，比如下面几个halcon的测试图：
合成后的反射率图为：
再比如：
合成后为：
下面这个四个图更能合适的看到多光源的合成效果：
合成后为：
合成后的图各个方向的光线都比较均匀了。
个人觉得这种合成似乎也可以用多图的HDR来做，不过多图HDR还是不能获取一些额外的信息。
关于光度立体法目前也只能研究这么多了。希望以后有契机再去研究后续的其他细节。
目前，如果是纯粹的只是获取Normal Map图，我的优化的程序速度非常快，在4个方向 2500*2000像素的灰度图，获取大概只需要25ms，预计比原始的M代码快近2000倍。
提供一个简易的测试DEMO：https://files.cnblogs.com/files/Imageshop/stereo.rar?t=1669368744
有没有办法在这个简单的get方法中添加超时选项？我正在使用法拉第3.3。Faraday.get(url)四处寻找，我只能先发起连接后应用超时选项，然后应用超时选项。或者有什么简单的方法？这就是我现在正在做的:conn=Faraday.newresponse=conn.getdo|req|req.urlurlreq.options.timeout=2#2secondsend 最佳答案 试试这个:conn=Faraday.newdo|conn|conn.options.timeout=20endresponse=conn.get(url
我有一个存储主机名的Ruby数组server_names。如果我打印出来，它看起来像这样:["hostname.abc.com","hostname2.abc.com","hostname3.abc.com"]相当标准。我想要做的是获取这些服务器的IP(可能将它们存储在另一个变量中)。看起来IPSocket类可以做到这一点，但我不确定如何使用IPSocket类遍历它。如果它只是尝试像这样打印出IP:server_names.eachdo|name|IPSocket::getaddress(name)pnameend它提示我没有提供服务器名称。这是语法问题还是我没有正确使用类？输出:ge
我想获取模块中定义的所有常量的值:moduleLettersA='apple'.freezeB='boy'.freezeendconstants给了我常量的名字:Letters.constants(false)#=>[:A,:B]如何获取它们的值的数组，即["apple","boy"]？ 最佳答案 为了做到这一点，请使用mapLetters.constants(false).map&Letters.method(:const_get)这将返回["a","b"]第二种方式:Letters.constants(false).map{|c
我安装了ruby版本管理器，并将RVM安装的ruby实现设置为默认值，这样'哪个ruby'显示'~/.rvm/ruby-1.8.6-p383/bin/ruby'但是当我在emacs中打开inf-ruby缓冲区时，它使用安装在/usr/bin中的ruby。有没有办法让emacs像shell一样尊重ruby的路径？谢谢! 最佳答案 我创建了一个emacs扩展来将rvm集成到emacs中。如果您有兴趣，可以在这里获取:http://github.com/senny/rvm.el
假设我有这个范围:("aaaaa".."zzzzz")如何在不事先/每次生成整个项目的情况下从范围中获取第N个项目？ 最佳答案 一种快速简便的方法:("aaaaa".."zzzzz").first(42).last#==>"aaabp"如果出于某种原因你不得不一遍又一遍地这样做，或者如果你需要避免为前N个元素构建中间数组，你可以这样写:moduleEnumerabledefskip(n)returnto_enum:skip,nunlessblock_given?each_with_indexdo|item,index|yieldit
我目前正在使用以下方法获取页面的源代码:Net::HTTP.get(URI.parse(page.url))我还想获取HTTP状态，而无需发出第二个请求。有没有办法用另一种方法做到这一点？我一直在查看文档，但似乎找不到我要找的东西。 最佳答案 在我看来，除非您需要一些真正的低级访问或控制，否则最好使用Ruby的内置Open::URI模块:require'open-uri'io=open('http://www.example.org/')#=>#body=io.read[0,50]#=>"["200","OK"]io.base_ur
如何在Ruby中获取BasicObject实例的类名？例如，假设我有这个:classMyObjectSystem我怎样才能使这段代码成功？编辑:我发现Object的实例方法class被定义为returnrb_class_real(CLASS_OF(obj));。有什么方法可以从Ruby中使用它？ 最佳答案 我花了一些时间研究irb并想出了这个:classBasicObjectdefclassklass=class这将为任何从BasicObject继承的对象提供一个#class您可以调用的方法。编辑评论中要求的进一步解释:假设你有对象
是否可以在应用程序中包含的gem代码中知道应用程序的Rails文件系统根目录？这是gem来源的示例:moduleMyGemdefself.included(base)putsRails.root#returnnilendendActionController::Base.send:include,MyGem谢谢，抱歉我的英语不好 最佳答案 我发现解决类似问题的解决方案是使用railtie初始化程序包含我的模块。所以，在你的/lib/mygem/railtie.rbmoduleMyGemclassRailtie使用此代码，您的模块将在
我有一个应用程序可以读取文件的内容并为其编制索引。我将它们存储在磁盘本身中，但现在我使用的是AmazonS3，因此以下方法不再适用。事情是这样的:defperform(docId)@document=Document.find(docId)if@document.file?#Youshould'tcreateanewversion@document.versionlessdo|doc|@document.file_content=Cloudoc::Extractor.new.extract(@document.file.file)@document.saveendendend@docu
在应用开发中，有时候我们需要获取系统的设备信息，用于数据上报和行为分析。那在鸿蒙系统中，我们应该怎么去获取设备的系统信息呢，比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况，一种是设备信息的获取，一种是系统信息的获取。1.1、获取设备信息获取设备信息，鸿蒙的SDK包为我们提供了DeviceInfo类，通过该类的一些静态方法，可以获取设备信息，DeviceInfo类的包路径为：ohos.system.DeviceInfo.具体的方法如下：ModifierandTypeMethodDescriptionstatic StringgetAbiList()Obt