bundle-stitch:一种高效机房机柜图像拼接方法

112 阅读3分钟

随着数字经济产业的快速发展,数据机房的数量不断增长,使用巡检机器人代替人工巡检有效地缓解了机房巡检工作的压力,其相关研究也成为当下的热点。

巡检机器人在对机房设备进行巡检的过程中,受相机固定位置以及相机自身视野范围等因素影响,机器人无法通过摄像头获取机柜全景图,因此需拼接多张机柜的设备照。

传统的图像拼接方法基于图像特征点提取,其严重依赖于图像特征点的精确定位和均匀分布,因此在图像特征点较少场景中,如图1所示,拼接图像中重叠部分极易产生错位现象,拼接性能急剧下降,甚至导致拼接失败。

图1 误匹配机柜拼接照

随着计算机视觉的快速发展,基于深度学习的图像拼接模型得到积极的探索,并在各种复杂场景中取得良好的性能。

蒙帕在实践过程中,基于深度学习的特征匹配方法增加光束法平差BA(Bundle Adjustment)来实现更加准确地单应性估计,并在最后图像融合阶段通过光照平衡法处理重叠区域,有利于弱化拼接图像中的边缘效应。

为有效改善传统方法中存在的特征点依赖问题,蒙帕在匹配过程中使用轻量级卷积神经网络代替特征点提取和特征点匹配步骤,如图2所示,不依赖于特征点而直接估计图像与图像间像素级别的配准关系,并采用随机抽样一致算法RANSAC(Random Sample Consensus)将误匹配或不良匹配剔除,保留正确的匹配点对,减小计算量的同时提升了特征点匹配对精度。

图2 图像匹配结果可视化

通过图像之间的特征匹配对进行单一性矩阵计算,在找到待拼接图像之间的扭曲关系后,可通过光束法平差(Bundle Adjustment)全局优化相机的内外参数,从而消除多张拼接图像引起的累计误差。

根据计算出的相机参数,蒙帕将图像进行球面投影变换,使各张图像统一到同一个投影平面坐标系下后,通过光照均衡为每张图像赋予增益系数,使得重叠部分图像强度相似,由此来构成完整的图像。

如图3所示,蒙帕机器人对采集到的9张机柜子图进行bundle-stich方法图像拼接,最终生成的拼接图展示出完整的机柜图像,拼缝处无明显亮度差异,且无错位现象产生,充分说明了该方法取得了较好的拼接效果,极大程度上提升了拼接性能。

图3 bundle-stitch图像拼接结果图

通过应用这种图像拼接技术,蒙帕机器人能够在保证机柜图像拼接效果的同时有效提高拼接的效率。未来蒙帕也将持续探索相关技术,进一步提升机房设备识别率,优化日常运维工作,高效保障机房安全稳定运行。

关于蒙帕

上海蒙帕智能科技股份有限公司聚焦IT运维领域20余年,服务客户超过400多家。

2015年组建研发团队,专注于“智能巡检机器人” 及“智能运维综合管控平台” 的研发,目前已获得“智能运维类”软件著作权40余项,产品发明专利30余项。

在北京、西安、重庆、深圳、广州、沈阳、大连、郑州、武汉、成都、无锡等地均设有分公司及办事处。