一种基于OpenMV的智能路径寻迹系统

宋增东,王宇航,李梦佳,艾乐宁,于清涛,付全友

一、立项依据

（一）项目简介 基于OpenMV的智能路径寻迹系统设计方案是以嵌入式摄像头为基础，采用简化后的多项式拟合预测算法对运动目标的下一帧位置进行预测，并能精确地实现实时跟踪。在加入轨迹预测算法后，系统可以识别与运动目标特征完全相同的干扰目标，使系统具有较强的准确性和抗干扰能力。 OpenMV是一款基于STM32F765VIARMCortexM7处理器的单片机和OV2640图像传感器的机器视觉模块。OpenMV上搭载了MicroPython解释器,使用Python脚本语言编程来实现一系列功能，包括10端口的控制、读取文件系统等基础功能，也可以实现人脸检测和跟踪、关键点提取、颜色跟踪等功能。 Arduino是一款便捷灵活、方便上手的开源电子原型平台。它由可编程的电路板（称为微控制器）和称为ArduinoIDE（集成开发环境）的现成软件组成，用于将计算机代码写入并上传到物理板。Arduino板卡能够读取来自不同传感器的模拟或数字输入信号，并将其转换为输岀。可以通过Ar.duinoIDE向板上的微控制器发送一组指令来控制板功能。 （二）研究目的 随着智能技术和自动化技术的突破, 机器视觉发展迅速, 已经在汽车、电子、医疗、物流等领域有了广泛应用。该系统模拟人眼功能, 从视觉成像中提取有用信息, 弥补了普通摄像头无法通过抓取目标特征来规避干扰项的不足，可以极大地提高运算效率、识别可靠性，从而更可靠的服务于各个行业。智能寻迹小车是一个集有环境感知、规划决策、自动行驶等功能于一身的光机电一体化系统。它具备了传感、信息处理、导航、人工智能及自动控制等高新技术。如今，高校实验室和创客个人都开始对智能寻迹小车展开广泛的研究，智能寻迹小车也已成为单片机初学者的入门必修课。在国内外机构举办的各种机器人大赛中，都会见到智能小车的影子。目前，智能寻迹小车已在许多行业得到广泛应用。基于此，本文采用0penMV机器视觉模块作为图像采集与处理平台，通过Arduino控制智能小车实现寻迹行驶。 （三）研究内容 基于OpenMV机器视觉模块，以智能寻迹小车为栽体，运用Python语言进行目标识别与追踪算法的研究。利用图像的滤波、二值化、膨胀和腐蚀等算法对摄像头采集的图像进行预处理；然后利用边缘检測和形枚识别算法获得引导线的路线信息，通过线性回归和最小二乘法拟合计算得到小车正面方向与地面轨道路线的转向角度；将该角度数据传输给Arduino控制小车实现寻迹行驶。 1）在摄像头采集到图像信息并进行图像预处理后，判别出需要跟踪的运动目 标以及其形心像素坐标，并在图像中进行标定。依据得到的连续的形心坐标，结合图像捕捉帧率，采用线性拟合的方式对运动目标下一帧的位置进行预测，并运用 PID 算法控制目标系统跟踪此预测坐标。 2）利用边缘检测和形状识别算法得到的路线信息, 通过线性回归和最小二 乘法拟合计算得到最优路径，最后由MCU控制目标运动，加入轨道算法后实现最优路径解算。 3）克服普通摄像头无法准确识别目标特征的不足，本项目不仅能有效提高目标抓取准确性，而且还具有克服环境影响，识别、区分干扰项的能力。当画面中突然闯入相同干扰目标时，系统仍可以正确跟踪运动目标，具有较强的鲁棒性。 （四）国、内外研究现状和发展动态 机器视觉在过去的数十年飞速发展，随着工业3.0的实现以及工业4.0概念的提出和规划，机器视觉系统也在不断进步和完善。随着工业自动化、智能化的发展，工业现场对机器视觉技术的需求越来越大，特定运动目标跟踪技术一直是研究的热点之一。 目前随着我国配套基础建设的完善和技术、资金的积累，各行各业对采用机器视觉技术的工业自动化、智能化需求开始广泛出现，国内有关各大院校、研究所和企业近两年在机器视觉技术领域进行了积极思索和大胆的尝试,逐步开始了工业领域的应用。其主要应用于汽车、电子、医疗、物流等相关领域。这些应用大多集中在低端层面，真正高端的应用还很少，因此，以上相关行业的技术发展应用空间还比较大。 （五）创新点与项目特色 1）利用机器视觉捕捉目标特征，克服环境影响，更准确识别跟踪目标。 2）通过线性回归和最小二乘法拟合并借助深度学习中的分支——卷积神经 网络 (Convolutional Neural Network, CNN)计算得到最优路径，从而提高其效率。 基于OpenMV机器视觉模块和Arduino控制模块，采用Python语言设计一款智能寻迹小车系统,并研究目标识别与追踪算法。利用边缘检测和形状识别算法得到的路线信息，通过线性回归和最小二乘法拟合计算得到路线与小车正面方向的转向角度；最后由Arduino控制实现了寻迹小车沿引导线快速、稳定地行驶。 （六）技术路线、拟解决的问题及预期成果 1）技术路线 2）拟解决的问题 如何将系统算法设计流程合理简化，是本设计的关键，它将是本课题需要 首先取得突破的技术要点和难点之一。 选择路线拟合算法质量直接决定了目标跟踪算法的准确性、高效性。 当图像视野中出现与检测目标相似或完全相同的干扰目标时，为确保系统 跟踪运动目标的准确性，还需要加入一个轨迹判别环节，使其屏蔽掉无关的干扰目标，是本系统的又一关键技术。 项目研究进度安排   年、 月 项目计划完成的内容及目标 2021年 7月-9月 系统总体方案制定 2021年 10月- 2021年3月 系统软硬件调试制作。 1) 系统硬件设计,硬件焊接及调试； 2) 软件编制，实现算法； 3) 系统软硬件联合调试。 2022年 4月- 6月 撰写研究总结，发表论文。 已有基础 与本项目有关的研究积累和已取得的成绩 前期对COMS摄像头的图像采集与处理有较深的了解，能较好地运用Keil、IAR程序开发系统、MATLAB仿真设计等为OpenMV的使用奠定了基础，并将其运用于各类科技创新比赛，均取得了较好的成绩。 对于只有单条黑色导引线的识别与追踪，采用直线检测的方法。由penMV采集的图像经图像滤波后，对图像进行色块检测和Otsu算法二值化处理，寻找到黑色引导线,随后对引导线进行线性回归处理，获得该线段的直线参数，判断是否检测到直线，如果不是，则放弃该帧图像，返回上一步，取下一帧图像；如果是，计算出该直线与小车的偏角，转换成小车应该转角的角度。将数值通过通信接口传输给Arduino控制器，从而控制舵机转角，即可完成寻迹。 已具备的条件，尚缺少的条件 1）已具备条件 （1）有多次参加各类比赛的团队成员，有丰富的机器视觉方面的经验，有灵活的应变力，默契的团队配合能力。 （2）有独立的研究实验室，为进一步研究奠定基础。 （3）指导老师有丰富的指导大型科技创新类比赛项目的经验，能较好的指导团队研究。 （4）根据论文的大方向选好题，与老师沟通好，定好论文题目； （5）到图书馆、微机室查找有关论文内容的文献及资料，整理所找到的资料 及文献； （6）认真研读文献，寻找本课题研究的切入点和重点； 2）尚缺少的条件 （1）实验室设施并不完善，不能完全支撑该项目的完成。 （2）机器视觉是新型技术，理解和解决难题有一定难度。 （3）项目环节众多，成员任务较重。