基于Visual-Hull+Bregman算法的三维重建matlab仿真

124 阅读5分钟

1.算法理论概述

       生物发光断层成像(bioluminescence tomography, BLT) 是光学分子影像研究领域的研究热点之一,具有无创性和灵敏度高等优点,具有良好的应用前景[1-3]。目前生物发光断层在图像重建时主要借助于结构成像如计算机断层成像提供的三维表面轮廓建立小动物模型。该方法可以提供很高的精度,但是该方法的缺点是需要借助价格相对昂贵的影像设备,而且计算机断层成像的安全性也不容忽视。因此,如何简单、快速获取小动物表面模型的方法需要深入研究。

 

        物体可视外壳(Visual Hull)[4]是指根据多幅图像中真实物体的轮廓信息估算出的物体最大化曲面。一般地,可视外壳可以通过多幅图像中真实物体轮廓反投影至三维空间求交集获得。作为物体真实模型的替代,常见的可视外壳计算方法分为基于曲面的方法和基于体元素的方法。

 

       三维重建是计算机视觉中的一个重要研究方向,其主要目的是通过已知的图像或点云数据推断出三维物体的形状和位置。基于Visual-Hull算法和基于Visual-Hull+Bregman算法是两种常用的三维重建算法,本文将从专业角度详细介绍这两种算法的实现步骤和数学公式。

 

1.1、基于Visual-Hull算法的三维重建

        Visual-Hull算法是一种基于视觉外壳的三维重建方法,其原理是通过多视角图像的交集来推断出三维物体的形状。实现步骤如下:

 

1.采集多视角图像

 

       首先需要采集多个视角的图像,可以使用相机或激光扫描仪等设备进行采集。采集时需要控制相机或激光扫描仪的位置和角度,以保证图像的覆盖范围和质量。

 

2.计算视锥体

 

       对于每个图像,需要计算其对应的视锥体。视锥体是一个棱锥体,其顶点为相机位置,底面为图像平面,侧面为视锥体的棱。视锥体的作用是将三维物体区分为可见和不可见两部分,可见部分为视锥体内的物体。

 

3.计算视觉外壳

 

       通过多个视锥体的交集,可以计算出三维物体的视觉外壳。视觉外壳是由所有可见部分组成的三维物体表面,可以通过计算表面法向量来确定三维物体的形状。

 

4.三维重建

 

       通过计算视觉外壳,可以推断出三维物体的形状。可以使用点云或三角网格等形式来表示三维物体的形状。

 

1.2、基于Visual-Hull+Bregman算法的三维重建

 

49c4c740e6f7d75266c91e94a1320a4a_82780907_202308071355030615836518_Expires=1691388303&Signature=sGLgJ0YCaIZMLKewBwCpVcpLuhU%3D&domain=8.png

 

       Visual-Hull+Bregman算法是一种基于能量最小化的三维重建方法,其原理是通过最小化能量函数的值来推断出三维物体的形状。实现步骤如下:

 

1.采集多视角图像

 

与Visual-Hull算法相同,需要采集多个视角的图像。

 

2.计算视锥体

 

与Visual-Hull算法相同,需要计算每个图像对应的视锥体。

 

3.计算视觉外壳的能量函数

 

       通过多个视锥体的交集,可以计算出三维物体的视觉外壳。视觉外壳的能量函数可以表示为:

 

55e2347b5a3e24ebb3ee7b7a23a02d1f_82780907_202308071355570600468844_Expires=1691388357&Signature=jTqY%2FObBNCf2u3JiaY0Ga9vu79A%3D&domain=8.png

 

其中,VV表示三维物体的体积,ϕ(x)\phi(x)表示视觉外壳到点xx的距离。

 

4.最小化能量函数

 

       通过最小化能量函数,可以推断出三维物体的形状。可以使用Bregman迭代算法或其他最小化算法来求解最小化问题。

 

5.三维重建

 

       通过最小化能量函数,可以计算出三维物体的形状。可以使用点云或三角网格等形式来表示三维物体的形状。

 

 

2.算法运行软件版本

MATLAB2017b

 

3.算法运行效果图预览

 

068124a27bc46309a239dde5ee4732c0_82780907_202308071356410865660838_Expires=1691388401&Signature=ldOCVOhTNEQy7FrJdAt1iaIRjak%3D&domain=8.png

 

4.部分核心程序 `while(error >= 1e-3)%迭代 % 迭代循环,直到误差小于1e-3

        indss  = indss + 1; % 记录迭代次数

        Eindx  = 0;

        Windx  = 0;

 

        j      = 1;

        Windx_cal; % 计算Windx

 

        j      = Rx;

        Eindx_cal;% 计算Eindx

 

        if  Eindx > 0 && Windx > 0 && Eindx >= Windx

            Y_min = min([Y1_tri Y2_tri Y3_tri]);

            Y_max = max([Y1_tri Y2_tri Y3_tri]);

 

            Nindx = 0;

            Sindx = 0;

 

            j     = 1;

            Nindx_cal;% 计算Nindx

 

            j     = Ry;

            Sindx_cal;% 计算Sindx

            %论文中的W权值计算

            if  Nindx > 0  && Sindx > 0 && Sindx >= Nindx

                for j = Windx:Eindx

                    for k = Nindx:Sindx

 

                        A = [X1_tri X2_tri X3_tri;

                             Y1_tri Y2_tri Y3_tri;

                                  1      1      1];

                        for iii = 1:3% 处理特殊情况

                            for jjj = 1:3

                                if A(iii,jjj) > 10000

                                   A(iii,jjj) = 1000;

                                end

                                if isnan(A(iii,jjj)) == 1

                                   A(iii,jjj) = 0;

                                end                               

                            end

                        end

                             

                        [U0,S0,V0] = svd(A);

                       

                        S_      = A*S0;

                        Ls      = U0*A.^0.5;

                        M       = Ls*S0;

                             

                        [Vs,Is] = min(abs(M-Ls*S0));

                        Sj      = Is;

                        Hnew    = [L1(1:3,round((i+1)/2))]'*Xk_1';

 

                        if rcond(A) > eps

                           w = A[X(k,j);Y(k,j);1];

                        else

                           w = [1;1;1]/3;

                        end

                        if min(w) > 0

                            z = [lemdal*(w(1)*Z1_tri + w(2)Z2_tri + w(3)Z3_tri) + (L1(1:3,round((i+1)/2)))'(Hnew)' + sum(lemdab(L1(1:3,round((i+1)/2)))'*Xk_1)];

                            if isnan(Z(k,j)) || z > Z(k,j)

                               Z(k,j) = z;

                            end

                        end

                    end

                end

            end

        end

        Znew{indss} = Z;

         if indss > 1

            error =  abs(mean(mean(Znew{indss} - Znew{indss-1})));

         end

         errors(indss) = error;

        

     end%迭代循环

     H    = Hnew; % 更新H

     %Z转换为空间坐标系

     XYZS = [XYZS;[X3_tri,Y3_tri,z]];% 将计算得到的点坐标加入XYZS矩阵中

end

Vx2       = [Vx2;XYZS];% 将XYZS矩阵加入Vx2矩阵中,用于存储所有计算得到的点坐标`