基于类脑计算的三维影像记录与重建
时间：2023-06-28 10:45:03 来源：雅意学习网 本文已影响 人 
郑雨豪 王子洵 赖晓桑 肖 灵 邱观秀 苏秉华
北京理工大学珠海学院 广东 珠海 519088
三维影像的记录和重现技术应用范围十分广泛,可以应用于虚拟主持人、虚拟实验室、虚拟会议、虚拟旅游、3D网络教学、医疗研究、电影制作、文物及产品展示等,具有重要的现实意义和应用价值。
人眼所接收到的光信息是客观三维世界物体在视网膜上的二维投影,大脑视觉皮层通过分析三维世界的二维投影规律,将视网膜上的二维影像重建为三维模型,帮助人感知三维物体、理解三维世界。该生理功能所依赖的信息包括双目视差、空间遮挡、光影关系(反光、阴影、明暗分界等)以及透视关系(近大远小),这些信息所同样可以被图像传感器记录下来,因此通过模拟大脑皮层的视觉处理机制,对三维物体的二维投影图像进行三维重建具有可行性。
三维重建问题在传统的数学模型上通常以三角函数方程组的形式来表达,这一形式可以帮助利用现有的空间几何知识进行计算。然而,任何模型的参数都存在不准确之处,需要根据可用的实验数据(即灰盒建模)进行纠正,可以采用基于遗传算法、神经网络和神经模糊系统的智能优化算法,也可以使用基于最小二乘法和最大似然法的不同数学方法来实现参数校正问题,Hopfield神经网络正是一种可用于上述灰盒模型实时校正参数来解决优化问题的类脑计算算法。
本文旨在运用基于Hopfield神经网络的类脑计算算法模仿人脑视觉皮层加工处理来自双眼的光信息,合成三维立体影像的机制,设计一种可记录和重建物体三维影像的设备。
类脑计算又称神经形态计算,是借鉴动物神经系统的信息处理模式和结构的计算理论、体系结构、芯片设计以及数学模型与算法的总称,在算法层面较为常见的有脉冲神经网络、Hopfield递归神经网络等。本文旨在运用基于Hopfield神经网络的类脑计算算法模仿人脑视觉皮层加工处理来自双眼的光信息,合成三维立体影像的机制,设计一种可记录和重建物体三维影像的设备。
Hopfiled神经网络是一个单层递归神经网络模型,由物理学家约翰·霍普菲尔德于1982年提出,一种结合存储系统和二元系统的单层反馈网络,具有n个神经元节点,每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态,即当该神经元所受的刺激超过其阈值时,神经元就处于一种状态,否则神经元就始终处于另一状态。该网络的所有神经节点之间两两相互连接,形成一个无分层结构的球状全连接网络模型,网络结构图如图1所示。
图1 Hopfiled神经网络结构图
平面影像的三维重建工作核心在于从两个(或多个)视点获取同一物体不同视角度的图像,通过计算空间点在不同图像中的位置偏差(即视差),根据三角测量原理来确定物体表面各点的距离信息(即景深)。正如人脑视觉皮层对视网膜二维影像的三维感知,如果只有单眼的视觉影像,则大脑只能利用固有经验对物体的空间遮挡、光影、透视关系等要素进行分析,确定大致的三维形状,而难以估计物体的距离信息。这一规律最直观的现象是触笔实验:实验者双手持两支铅笔,双臂张开而后合拢,试图让两支铅笔的笔尖相互触碰。当试验者闭上一只眼睛时,很难让两只铅笔的笔尖准确碰到一起,这即是大脑皮层无法通过单眼视觉估计距离信息的体现。
运用计算机对二维图像进行三维重建时也会遇到这一问题,因此本文利用两个或两个以上的图像传感器从不同角度获取被测物体图像(多机位)或单个图像传感器在不同角度获取被测物体图像形成图像序列(单机位多角度),再将图像信息导入计算机,运用基于Hopfield递归神经网络的类脑算法对视差、空间遮挡、光影关系和透视关系进行分析,实现平面图像的三维重建。
通过comsol软件及实物试验进行三维影像记录与重建的试验设计与仿真测试,同时运用编写的三维重建算法对获得的多角度图组进行测试,仿真结果和实物试验结果都表明算法具有良好的三维重建效果,其原因在于本文运用类脑算法模仿大脑皮层视觉处理的过程,在Hopfield递归神经网络的基础上引入非线性权重向量计算函数,对二维图像的视差、空间遮挡、反光、阴影、明暗分界以及透视关系等信息进行处理,实现二维图像的三维重建,相对于传统三维重建算法具有更加逼真的效果、更快的图像处理速度更快和更高的效率。
图2左右侧分别为两个不同角度拍摄的三维物体实景图像,将这一组图片导入基于Hopfield递归神经网络的类脑计算算法,可重建出该物体在视场范围内的三维图像,从而得到视角范围内(即图2两图拍摄角度之间的角度)任意角度的拟合图像,由于计算机上无法直接显示三维图像,故在视角范围内从左到右依次截取6个角度的重建图像如图3所示。
图2 拍摄的三维物体图像
图3 从左到右依次截取6个角度的三维重建图像
本文运用类脑算法模仿大脑皮层视觉处理的过程,在Hopfield递归神经网络的基础上引入非线性权重向量计算函数,对二维图像的视差、空间遮挡、反光、阴影、明暗分界以及透视关系等信息进行处理,实现二维图像的三维重建,相对于传统三维重建算法具有更加逼真的效果、更快的图像处理速度更快和更高的效率。
猜你喜欢类脑三维重建神经元神经元规模最大类脑计算机问世科学24小时(2021年1期)2020-12-24基于多尺度网格细胞模型的无人机类脑矢量导航方法中国惯性技术学报(2020年2期)2020-07-24基于Mimics的CT三维重建应用分析软件(2020年3期)2020-04-20跃动的神经元——波兰Brain Embassy联合办公现代装饰(2018年5期)2018-05-26中国成立“类脑国家实验室”“借鉴人脑”攻关人工智能中小学信息技术教育(2017年6期)2017-06-23基于关系图的无人机影像三维重建光学精密工程(2016年6期)2016-11-07三维重建结合3D打印技术在腔镜甲状腺手术中的临床应用腹腔镜外科杂志(2016年12期)2016-06-01多排螺旋CT三维重建在颌面部美容中的应用中国医疗美容(2015年1期)2015-07-12ERK1/2介导姜黄素抑制STS诱导神经元毒性损伤的作用中国生化药物杂志(2015年4期)2015-07-07毫米波导引头预定回路改进单神经元控制弹箭与制导学报(2015年1期)2015-03-11
