一种全景视频拼接方法在远控RTG上的应用

付佳

摘要：图像拼接是计算机视觉研究的热门领域，其主要解决的问题是如何通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，使得其具有比单个图像更高的分辨率和更大的视野。对于视频来说，对每一帧图像在固定时间间隔的情况下分别做图像拼接处理，就是视频拼接。基于视频的图像拼接对于拼接的实时性以及稳定性以及最终拼接结果的有效性有着更高的要求。

关键词：视频拼接；远控RTG；应用

背景

SURF 算法又称快速鲁棒特征，借鉴了SIFT 中简化近似的思想，将DoH 中的高斯二阶微分模板进行了近似简化，使得模板对图像的滤波只需要进行几个简单的加减法运算，并且这种运算与滤波模板的尺寸无关。实验证明，SURF 算法较SIFT 在运算速度上要快3 倍左右，综合性能要优于SIFT 算法。

SURF 特征点提取与描述主要包含4 个步骤：

1）检测尺度空间极值。

2）精炼特征点位置。

3）计算特征点的描述信息。

4）生成描述特征点的特征向量。

SURF的匹配算法是通过计算两个特征点藐视算子之间的欧式距离得到的，即找出与特征点描述符pi欧式距离最近和次近的两个邻居特征点描述符qi'和qi''，然后计算pi与qi'以及pi与qi'' 两组描述符之间欧式距离的比值r。如果比值r小于规定阈值规则视为匹配成功，（pi，qi'）点对则为图像序列中的一对匹配点，否则匹配失败。这种匹配方法简便快捷，但是会差生误匹配。最后，在图像配准模块会使用RANSAC进行误匹配点的筛选，一定程度上可以消除统计学上的误差。

RTG进行远程及自动化改造后，作业模式为以下三种：①堆场内自动化作业模式，ARTG在堆场内移动、翻倒箱作业自动完成，无需人工干预；②半自动化作业模式：ARTG收到操作指令后首先移动大车到指定位置，自动完成定位、起升/下降动作，仅在最终的抓/放箱过程中由人工远程操作完成；③人工（远程）作业模式：即操作员可通过中控室远程操作台完成对场桥的监控和所有操作。

技术方案

1、前期准备：

（1）在场桥上选取合适位置，安装十台监控摄像机。摄像机安装位置有以下要求：需要垂直向下，并且视场能够覆盖整个监控区域，摄像机之间距离不能过大，也不能过小。

（2）基于标定板标定方法对监控摄像机进行标定矫正，此方法需要用到一块黑白棋盘格标定卡，多个监控摄像机中同一型号监控摄像机选取一个作为待矫正监控摄像机，对棋盘格进行多角度采样后再根据得到的数据进行分析，使用图像矫正工具得到摄像头的内参矩阵与畸变矫正参数矩阵。

（3）从监控摄像机中读取视频数据，对采集到的视频数据进行单帧截图，并对每一个监控摄像机得到的截图进行单独分析：对截图的待拼接部分进行划分，并对网格进行标记，以便于后续的透射矫正。

（4）使用图像校正工具，使用之前标定的网格数据，调用透视仿射变换矫正工具，进行透射矫正映射矩阵的生成，形成结果模型。

2、具体运行：

（1）搭建所需要全景视频拼接方法的运行环境并对算法库进行相关的配置。

（2）将摄像头的内参和外参代入函数中计算出畸变变换的映射矩阵。

（3）设置Roi和缩放参数，其中Roi是每一个监控摄像机有用的视野部分，要求每一个监控摄像机拼接区域能够相邻并紧密连接，缩放参数是指使图像经过畸变与透射变换后其大小不一致的情况下，额外引入缩放参数ratio_x、ratio_y，每个摄像头拍摄同一个物体时所呈现的大小能够一致，根据缩放参数来计算缩放映射矩阵：

x_map_resize(i,j)=j/ratio_x,y_map_resize(i,j)=i/ratio_y。

（4）利用递归的方法将透射矫正映射矩阵、畸变变换的映射矩阵、缩放映射矩阵合并为一个综合映射矩阵，x轴方向上命名为x_map_dst,y轴方向上命名为y_map_dst。这两个x_map_dst,y_map_dst矩阵中分别存储了结果图中每一个点对应于原图中的点的横坐标与纵坐标。

（5）打开videowriter，设置文件流，准备进行视频数据的处理。设置文件流是指设置视频的分辨率、格式、帧率、路径以及文件名。

（6）循环调用摄像头，读取每一个摄像头的视频数据并提取出单张图片，将图片存入mat型数组中。

（7）将每个摄像头的图像上传至gpumat，并使用remap函数，使用之前得到的x_map_dst与y_map_dst对图像做单应性变换。调用cuda模块对remap进行加速，并下载到内存中，在循环过程同时使用openmp进行多线程的操作，以加快计算。

（8）在每一个监控摄像机的图像预处理完成后，分别设置针对于集装箱检测区域的范围，这个范围不宜过大，且最好位于视野中央。

（9）将集装箱检测区域的图像进行处理，调用集装箱检测函数，找到所有的集装箱所在的位置和大小：

（a）对采集到的图像利用指针进行逐像素处理，调整颜色阈值，使用算法判断地面区域的RGB值范围（一般为灰色和黑色），将地面所在区域的RGB值全置为0；

（b）对图像进行开操作和腐蚀操作，并使用高斯滤波器消除噪点；

（c）对图像调用canny算法检测边缘，这个方法可以将图像中明暗变化剧烈的图像边缘提取出来；

（d）对得到的边缘调用findContour函数进行轮廓检测，将检测方式设置为最外层，最后将每一个得到的轮廓的点的位置信息存入vector型数组中；

（10）在主函数中设置每一个箱子的缩放比率。箱体的缩放比例需要根据检测出的箱体的大小动态检测并进行设置。这一步是为了消除由于不同位置拍摄集装箱所带来的视差。

（11）若某一个摄像机目标集装箱检测区域检测到了集装箱，则调用resize函数，将得到的集装箱按照之前设置的参数进行缩放，并覆盖原图。

（12）使用历史帧图像的信息对图像矫正区域进行调整，获取上3帧历史图像的区域信息，并且与当前获取的区域信息进行加权融合，保证拼接的稳定性和连贯性。

实施效果

通过这种全景拼接算法可以将十个监控摄像机的视频流转换为方便人员监控信息的单张大视场俯视图像。在最大程度上保留了原有相机视野中信息的同时保持了图像的统一和完整性。通过视频拼接监控系统，在远控室的主机屏幕上，可以清晰的呈现场桥整体的作业情况，监控人员也借此实时地掌握了场桥的作业动态，有助于保障生产安全。

参考文献：

[1]王文,曹靓,王栋.一种用于FPGA的片上可配置SRAM设计[J].电子与封装,2018,18(5):33-37.

[2]朱琛[1],崔镭[1],邵春伟[1],王小龙[1].基于FPGA的高速光纤传输卡[J].电子与封装,2018,18(3):22-25.

[3]韩进[1],张览[1],刘锴[2].基于FPGA的DDR3 SDRAM控制器设计及实现[J].大众科技,2016,18(10):1-4.

付佳（1983.11.26），女，天津，汉，硕士，工程师，能源计量主管工程师，研究方向:节能。