基于机器视觉的四足机器人目标识别与跟随系统设计

韩少雄

摘要：四足机器人是机器人、自动化与人工智能等多学科融合的前沿研究方向，在工业巡检、医疗看护、军事侦察等领域起到关键作用，可服务于“中国制造2025”和“人工智能+”等重大国家战略。在上述应用场景中，四足机器人需要通过机器视觉对任务目标与周围环境进行识别，进而通过控制算法实现对目标的实时跟随。四足机器人系统的设计与开发需要综合运用机器人、人工智能、计算机、自动控制等一系列学科专业知识。机器人竞赛具有前沿性、综合性、实践性，是大学生创新实践能力培养的良好平台，学生通过参赛，可以系统掌握四足机器人的基础理论与专业知识，进而培养解决复杂工程问题的能力。

关键词：四足机器人；机器视觉；目标识别；目标跟随

引言

随着世界各国对太空资源探索的深入，航天任务范围不断拓展，空间任务应用逐渐多元化，不再局限于通信、遥感、导航等传统领域，而是面向在轨服务、编队飞行、深空探测等新型任务，这些空间任务涉及非合作目标检测识别、绕飞接近、交会对接等过程。传统星地回路控制方法的地面测控站由于定姿定轨精度和通讯响应速度等的影响而不利于航天器自主任务完成。为保障新型空间任务的顺利完成，急需开展航天器对空间目标自主检测跟踪、轨迹规划、自主控制等方法的研究，目标位姿估计技术是其中的重点技术之一。

1系统结构

本文系统通过与云台固联的相机采集画面，机载miniPC根据目标外观特征利用OpenCV识别目标装甲板，并通过Perspective-n-Point(PnP)解算出目标在相机坐标系中的位置。相机选用分辨率640*360、帧率330FPS的USB2.0相机，miniPC处理器为酷睿i7-8550U。miniPC解算出目标装甲板相机系坐标后，通过串口发送给下位机，下位机以STM32F407IGH6为核心处理器、BMI088为云台IMU。根据相机与云台IMU的相对位置与姿态可得到目标在云台坐标系中的位置后，通过云台姿态估计确定的坐标变换矩阵得到目标的惯性系位置。得到目标惯性系位置后，利用匀速模型卡尔曼滤波器估计目标在惯性系的运动状态，即位置与速度。云台姿态估计与目标运动状态估计中卡尔曼滤波器均利用CMSISDSP矩阵运算库实现。最后根据目标运动状态与弹道模型实现运动预测与弹道补偿，进而得到云台的期望姿态角。在串级控制器基础上设计的云台控制系统实现对目标的跟踪与打击。云台电机采用GM6020直流无刷电机，下位机通过CAN总线向电机驱动器发送控制指令控制其输出电压。

2空间任务中视觉系统的应用情况

随着空间对抗技术与装备的迅猛发展，构建空间态势感知系统已成为关系国家安全的重大战略问题。视觉系统在自动交会对接、主动碎片清除、在轨装配服务等空间任务中成为不可或缺的关键技术。空间目标近距离位姿估计任务中一般涉及目标飞行器和追踪飞行器，目标飞行器按照三维模型是否已知或是否预先安装合作靶标分为合作目标和非合作目标。针对合作目标的近距离视觉位姿估计技术较为成熟，已经在轨应用。但对于空间垃圾、失效卫星等非合作目标，因其无法获取先验信息，也没有预先布设的合作靶标，其视觉位姿估计面临着许多技术挑战，仍有待深入研究。稳定可靠的非合作目标的位姿估计对未来空间任务有重大意义。

3四足机器人任务简述

中国大学生计算机设计大赛的四足机器人全地形挑战项，包括目标识别、目标跟随、语音播报等挑战任务。在比赛场地中，分别设置起点、终点、行进路线、路障和检查点。其中起点和终点位于黄色矩形框中；路障是直径58cm，高90cm的蓝色烤漆油桶，位置固定在图中的三个点位；虚线表示规定的队员和四足机器人运动路径，四足机器人需要跟随队员沿该虚线运动；检查点处目标图片（某种动物）平整粘贴在木板上，图片下缘距地面10cm，摆放在检查点中央；场地边缘有挡板阻拦。要求四足机器人在跟随队员行进过程中，准确识别图片中的动物种类，并通过语音告知检测到的动物名称，最终抵达终点。比赛要求四足机器人快速跟随队员到达终点，正确识别检查点处目标的种类，且途中与障碍物或场地边缘不发生碰撞。受四足机器的嵌入式设备中的CPU与GPU的性能所限，跟随队员并识别目标过程易发生卡顿、误识别、丢失跟随目标等情况。由于比赛场地狭小，四足机器人在过弯时容易触碰障碍物或场地边缘，这就要求对其的运动控制采取稳定且具有更小跟随距离的控制策略，比赛难度大，极具挑战性。

4四足机器人系统设计

4.1专家系统在人工智能中的应用

专家系统来自人工智能应用领域，主要借助来自人类专家的专业化知识来应对与处理智能制造中的问题。这一系统综合应用了计算机技术与人工智能技术，依靠专家的经验与知识，模拟人类决策过程，通过判断与推理来探求问题的解决办法。知识库、推理机以及人机界面等共同组成专家系统。知识库的主要用来存储专家提供的知识与经验，在解决实际问题时，需要应用知识库中知识资源来对专家的思维方式进行模拟；专家系统的质量水平由知识库中的知识数量与质量决定，使用者需要不断地对知识库进行完善与升级，从而强化专家系统的性能；推理机根据具体问题的已知信息，对知识库内部的规则进行反复多次匹配，获取与问题的解决措施，推理方式有反向推理与正向推理两种。

4.2基于轻量化模型的果实目标识别方法

自然场景下的果实目标识别任务存在遮挡、光照不均等一系列挑战。为提高果实目标识别任务的精度，基于深度学习的果实目标识别网络的深度在不断加深，以适应越来越复杂的目标检测任务。然而，随着网络深度的加深，模型的参数量和计算复杂度也在不断上升，模型大小和计算成本的爆炸性增长为模型在嵌入式设备上的部署带来了新的挑战。目前，研究人员致力于研究轻量化的目标检测网络，以兼顾模型的移植部署、检测速度和检测精度，以期为果园采摘机器人的发展提供技术支持。依据网络的结构层次，可以将网络的轻量化划分为模型的轻量化设计和模型压缩两大类。

4.3相机标定

对于相机标定，是针对机械手和相机进行手眼标定。也就是说，当工业机器人的需要用机械臂对物品进行抓取的时候，工业机器人的控制系统需要知道机械臂与相机之间的空间坐标关系。对于工业机器人而言，眼睛即工业相机，手即工业机器人的机械抓手。对于实际的控制过程，在相机对目标物的图像像素位置获取之后，可以通过坐标矩阵对该坐标转换为空间坐标，然后将该坐标传递给机器人控制器，基于此，对电机的运行方式进行计算，最终达到对机器人位置的控制。在标定方法选择方面，因为本文采用的工业相机自身畸变较小而且需要工业相机与机器人之间进行配合，建立相机坐标与机械手坐标的关系。基于上述原因，笔者选择了机械手与相机之间的九点坐标标定法。九点坐标标定法的原理是工业机器人的机械臂末端有九个不同方向，然后通过这九个点来建立坐标，通过相机拍摄识别这些坐标，然后通过相机模型坐标进行转换，接着借助矩阵变换得到最终的坐标。

4.4合作目标位姿估计

空间遥操作方式受通信速率的影响，图像质量较差，通讯延迟较大，不能满足所有任务需求。因此，空间任务需要航天器自主完成。合作目标位姿估计技术能够根据已知信息自主完成位姿估计，得到测量信息。1997年，日本川崎重工业公司研发出邻近敏感器用于ETS-VII上，采用100个红色二极管作为靶标，由CCD相机获取图像，得到相对位姿。1999年，美国开展轨道快车OE计划（Orbit⁃al Express），采用NASA研发的VGS（Video Guidance Sensor）系统，对合作目标进行抓捕，过程中应用合作目标位姿估计技术。VGS系统经过多次升级，2005年，AVGS（Advanced Video Guidance Sensor）系统应用于DART太空船计划。我国也开展了相关研究，2011年，利用合作靶标完成天宫一号和神舟八号交会对接任务。

4.5目标识别和目标位姿求取

针对目标识别和目标位姿获取，可使用的视觉测量技术有多种。主要的思路是使用深度信息恢复，三维重构等技术，通过这些技术，可以测量目标的位置，然后通过对结果进行三维数据模型构建。该视觉系统又名为立体视觉系统，借助该系统，然后经过三维重构，最终能够达到对目标的几何尺寸和空间位置进行描述的目的。在该数据模型构建之后，能够使用工业机器人进行抓取规划。然而，在实践中发现，立体视觉所需要处理的数据非常大，而且三维重构算法极为复杂，其中会涉及大量的计算。所以，目标深度信息的完整恢复难度较大，一般要额外提供目标的三维数据模型。目标识别一般包括这四个方面：模型库和特征检测以及假设生成和假设检验。对于识别的过程，会使用到多种匹配技术，这样才能够在真实图像中找到目标物。当前，使用较多的相关技术有模板匹配、位姿聚类和解释树等。求取目标位姿的主要方法包括：基于立体视觉的位姿测量，基于矩形的位姿测量，基于PNP问题的位姿测量和基于消失点的位姿测型。

4.6基于激光雷达的机器人定位检测方法

智能移动机器人已经在现代很多领域投入使用，如在医院中，通过使用导航机器人来引领患者就医;如在风景区，通过使用导航机器人来引领游客游览;如在工业生产中，通过使用搬运、抓取机器人来搬运或抓取目标物体。智能移动机器人的使用是以目标准确定位作为基础的，只有准备识别环境中的目标，无论是障碍、目标物体还是可移动的人群等，才能准确地完成任务或作业。针对上述分析，机器人定位检测研究是必不可少的。在这里，结合激光雷达技术进行目标定位检测研究，具体研究内容包括激光雷达点云数据采集与处理、环境地图构建与自定位、特征提取与目标定位，下面在文中进行具体分析和描述。

结束语

对于工业机器人应用领域的一个经典问题—机器人抓取操作，本文从计算机视觉技术的角度进行了探讨，提出了一种基于计算机视觉引导技术的工业机器人智能抓取的方法。希望通过计算机视觉这一新兴技术来解决工业机器人应用领域的传统问题。随着科学技术，尤其是计算机视觉的不断发展，相信在不久的将来，计算机视觉引导技术必将广泛地应用到工业机器人领域当中，使其焕发出新的光彩。

参考文献

[1]汪永生,李岩,刘明.AR技术在机器人工程专业实验教学中的应用研究[J].渤海大学学报(自然科学版),2020,41(04):367-372.5.

[2]尼留溪.枣采摘机器人的目标识别技术研究[D].河北农业大学,2020.

[3]邱腾飞.基于卷积神经网络的机器人目标识别与抓取研究[D].青岛理工大学,2020

[4]肖长诗,陈华龙,文元桥,陶威.一种水上搜救机器人系统的设计与实现[J].船舶工程,2020,42(11):106-11

[5]田佳,刘泓滨,王宇,桂林.一种机器视觉的安防巡逻机器人系统设计[J].机械设计与制造,2020(11):254-257.D