基于FPGA的水果识别采摘机器人

惠文豪 王旭峰 宋欣悦

摘要：本文提出了一个基于FPGA的水果识别采摘机器人设计方案，阐述了该方案的系统框架以及软硬件设计。用zynq开发板作为主控，通过多个机械手臂上的摄像头对果实的图像进行采集，采集到的图像在FPGA内使用深度学习算法对果实图像进行识别与处理。通过前期的图像训练，能够实现准确识别。通过系统本身优势提高采摘效率。

关键词：图像处理 深度学习 FPGA

一、引言

现代农业发展飞速，随着人工智能的发展和务农人口的减少，农业自动化成为一种新的风向。自动采摘机器人是未来智慧农业中不可缺少的部分，目前市场上最常见的是基于单片机的自动采摘机器人，成本低可大量生产，但识别速度慢且准确率低，反应不灵敏。近年来，随着人工智能的快速发展，通过建立神经网络并基于大量数据集训练的识别方法已经成为一种准确度高、稳定性强的方法，针对各种农作物及水果的识别也已经有较为完备的算法，但联合计算机成本较高、体积大、浪费资源。

考虑到这些，我们决定完全采用FPGA搭建机器人自动识别采摘系统，采用Xilinx公司的Zynq Soc作为控制器，既可以完成机器视觉算法，又可实现对机器人的电控，节约资源，且控制系统体积小，代码移植性强。此外，FPGA特有的并行处理能力可同时对多个目标进行识别采摘，极大的提高了采摘效率，；我们还通过代码改善增加了机器人的分拣能力，采摘时，通过对果实的好坏进行分拣。此研究对农业自动化类型机器人降低成本、提高采摘效率等方面从控制系统上提供了新的思路。

二、系统框架

采摘机器人的系统框架如图1所示。

图1 系统框架图

该系统选择了以FPGA作为系统的主控，相较于单片机复杂的中断程序和较多定时器，则需要较多的定时器，FPGA的并行处理的能力更符合系统设计的要求。

我们选择以Xilinx公司的zynq 7020 FPGA作为主控制器，外设包括两个五自由度机械臂、ov5640识别摄像头、ov7670导航摄像头、四路驱动电机；通过机械手臂上的摄像头对当前果实的图像进行采集，采集到的图像在FPGA内使用深度学习算法对果实图像进行识别与处理。通过前期的图像训练，能够实现准确识别。当该水果被识别为成熟的果实之后，通过控制机械手臂进行抓取，并将果实放置在采集小车的收纳箱中，随后再进行下一轮的处理。同时，通过采集小车前方的导航摄像头能够对小车的作业路径进行规划，实现自动运行自动采集果实的功能。

三、系统工作流程

水果识别采摘系统的工作流程图如图2所示。

图2 系统工作流程图

水果识别采摘系统的工作流程可描述为以下几个步骤：

1）摄像头采集图像，将图像信息通过串口发送给FPGA。

2）调用ZYNQ芯片的深度识别程序包，识别水果的种类、大小、成熟度。

3）FPGA将图像中的水果坐标信息进行计算，控制机械臂的舵机完成抓取工作。

4）摄像头再次采集图像并发送至FPGA判断果实是否被抓取。

以上对于系统工作流程的描述大致确定了系统设计的思路。

此外，对于系统的设计还需要注意一些设计要点：

1）摄像头采集图像后需要经过滤波、去噪、边缘检测，否则冗余和错误图像的掺杂影响到神经网络的识别。

2）摄像头采集实时数据且需要FPGA快速判断并及时反馈，降低时间延迟。

3）外围电路的各个部分应尽量选择参数控制相对隔离的方案，如对湿度的增大和减小方案不仅应内部分开，也应该减小对温度的影响。

四、系统设计优势

该系统为智能控制系统，主要是因为对比于目前的研究成果，本文提出的系统具有以下优势：

1）采用Xilinx公司的Zynq Soc作为控制器，能够在内部实现复杂算法的同时保持可编程逻辑器件的并行处理能力。

2）果实图像处理时采用卷积神经网络对预先准备的图像进行学习，提升目标识别的准确性。

3）机械臂部分采用五自由度机械手臂，并对抓取圆形果实的爪子进行独特设计，能够平稳地进行抓取，同时我们选取多个机械臂对多个目标进行采摘，极大了提高了采摘效率。

4）采集机器人采用了履带式小车方案，能够适应多地形等复杂工况，扩展应用范围。

五、结语

本文讨论了基于FPGA的水果采摘机器人的设计方案，描述了包括主控芯片，外设，图像处理部分的功能和特点，分析了系统的工作流程和设计要点，提出了系统设计的优势。在设计的果园环境下进行了整体试验，基本上完成了系统大部分功能。

参考文献：

[1]钟成. 基于机器学习的水果图像自动识别与分割算法研究[D].南华大学,2018.

[2]李国利. 多末端苹果采摘机器人设计与研究[D].南京农业大学,2017.

[3]顾宝兴. 智能移动式水果采摘机器人系统的研究[D].南京农业大学,2012.

[4]王辉. 机器视觉技术在果园自动化中的应用研究[D].中国农业机械化科学研究院,2011.

[5]彭辉. 基于计算机视觉的树上柑橘自动识别和定位技术的研究[D].华中农业大学,2011.

[6]刘锐. 水果采摘机器人视觉控制及其轨迹规划研究[D].南京农业大学,2010.

[7]吴刚. 基于RGB-D相机的树上水果识别方法研究[D].江南大学,2020.

[8]蒋超,崔有正,宋灏,杨文成,赵笠焱,王思琦.基于传感器的自动识别水果采摘机的设计[J].高师理科学刊,2017,37(10):34-36

[9]董戈.基于深度学习和图像处理的水果收获机器人抓取系统[J].农机化研究,2021,43(03):260-264.

[10]李梅.水果采摘机器人运动控制系统设计[J].贵阳学院学报(自然科学版),2020,15(02):1-4+10.

[11]滕丽丽,陈博.基于STM32的水果采摘机器人控制系统的研究[J].信息记录材料,2019,20(12):199-201.

[12]伍锡如,雪刚刚,刘英璇.基于深度学习的水果采摘机器人视觉识别系统设计[J].农机化研究,2020,42(02):177-182+188

作者简介：

惠文豪，男，生于2000年8月，汉族，山东日照人，江苏大学，电子信息工程方向

王旭峰，男，生于2000年1月，汉族，江苏扬州人，江苏大学，电子信息工程方向

宋欣悦，女，生于1999年11月，汉族，河北沧州人，江苏大学，电子信息工程方向

【基金项目】本文系江苏大学2020年度大学生实践创新训练计划项目，项目编号：202010299437X