机器人视觉手势交互技术研究进展

黄洪

摘要：基于视觉的手势交互中，用户无需穿戴设备，具有交互方便、自然和表达丰富的优点，符合人机自然交互的大趋势，适用范围广，对于某些特殊人群（如聋哑人）尤为重要。基于视觉的手势交互作为人机交互的重要组成部分，人与机器人交互的重要方式，对实现人与机器人自然交互具有重要意义，有广泛的应用前景。

关键词：机器人；手势识别；人机交互

前言

随着科技化时代的到来，人们生活水平不断提高，对生活品质更为在意，机器人逐渐成为机器人家族中的一个年轻成员，迄今为止没有严格而明确的定义，不同国家对机器人的认识和态度是不同的。根据分类可以分为专业领域机器人和家庭服务机器人，机器人的应用范围广泛，主要从事维护保养、修理、运输、清洗、保安、救援、监护等工作。

1机器人交互设计相关理论概括

交互设计，是定义、设计人造系统行为的设计领域，交互设计定义了两个或两个以上互动的个体之间相互交流的内容与结构，这些内容与结构相互合作，共同达成某一目的。机器人交互设计努力去创造和建立人与产品、服务之间最为恰当和谐的关系，以“在充满社会复杂性的物质世界中嵌入信息技术”为中心。目前，机器人的交互设计系统以用户体验和可操作性为目标，关注以人为本、为人服务的用户需求。机器人的交互是一个复杂而多变的过程，根据实际情景配合相应的机器人，这对研究很有意义。机器人的交互设计以用户体验作为中心出发点，努力创建一个用户在使用的过程中身心感到愉悦，对产品和服务达到满意程度的过程。机器人交互设计以消费者的情感表达与反应情况作为研究的基础，通过统计分析合信息技术的操作，构建出满足消费者意向的产品，最终使消费者产生依赖的情绪。一个完整的交互系统是由人、产品、输入输出行为、场景和技术五个元素组成的，经过总结与提炼，最终有使用者要素、介质要素和过程要素。其中，使用者要素指的是用户在生活中是产品的使用者，决定了整个交互服务过程，用户的心理与产品体验是交互设计的重点；介质要素指的是手机、计算机和机器人都是交互过程中存在的介质，也是整个交互流程中的执行者；过程要素指的是使用者对介质施加行为和工作，使产品做出反馈，使用者达到了目的，整个交互过程的操作和实践都直接影响用户体验，所以机器人的交互设计就是在努力控制用户最舒服的状态。

2视觉手势交互机器人分析

随着机器人技术的快速发展，机器人与人类接触日益增多，机器人与人的交互越来越重要。机器人与人交互，不仅可利用人的智慧指导机器人更好地完成任务，还可以根据人的需求灵活指挥机器人完成特定任务，实现个性化服务。手势作为机器人与人交互的重要方式，适用范围较广，尤其适合移动机器人与人的交互。这是因为在机器人与人交互的过程中，手势交互是语音交互的补充，可提高交互效果。例如，在语音指令有歧义或不适合使用语音（如嘈杂环境，人与机器人距离较远）的情况下，用户可通过手势与机器人交互。另外，手势交互具有简单直观的优点，如用户无须通过坐标等告诉机器人往哪里走，只需简单指向地面上的点或物体。最后，手势交互可与语音交互相结合，从而提高交互效果。手势识别技术应用于移动机器人时存在一些问题。首先，由于移动机器人的硬件处理能力有限，手势识别系统需要足够小才能用于移动机器人，这就意味着开发者需要设计简单、有效的手势识别算法。其次，用户做手势时，人和机器人可能都在移动，因此，手势识别系统不能假设背景是静态的，也不能假设摄像头或做手势的人处于固定的位置。除此之外，手势识别系统需要在下列情况下仍然能够正常工作：机器人或人的精确位置未知时，用户与机器人处于不同距离时，视觉背景中存在移动物体时。另外，移动机器人加速或减速时，摄像头标定较困难。最后，手势识别系统的运行速度需满足任务需求，例如，手势识别系统识别停止手势需要足够快，以便让机器人在合理时间内停止。

3手势建模

手势建模主要通过手势外在形态建模，建立在图像基础上。静态手势识别常用模型一般基于手势图像属性，如结构、边界、图像特征向量、区域直方图特征等，而对于动态手势识别，模型主要建立在图像的变化或运动轨迹基础上。手势建模对于手势识别来说至关重要。手部模型的选取与具体应用有关，用户应根据应用需求选取手势模型。手势模型可分为2类：表观手势模型和3维手势模型，如图3所示。其中，表观手势模型通过视觉图像中的手部外在形态进行识别，用少数局部特征建立手部模型。该方法的优势在于方法简单，计算复杂度较低，运算速度较快，容易实时实现，因而应用较广，但识别的手势种类有限。3维手势模型较精确，但计算复杂度较高，对设备的计算能力要求较高，需要配备专用硬件。并且，3维模型的参数空间维数较高，通过视觉获取模型参数较困难。

常用的3维手势模型有：3维纹理模型、3维骨架模型和3维几何模型。其中，3维纹理模型（3-Dtexturedkinematicorvolumetricmodel）包含手部皮肤表面和骨架的详细信息；3维几何模型（3-Dgeometricmodel）的皮肤信息不如3维纹理模型精确，但包含基本骨架信息，在3维模型中最常使用，其参数是经简化的关节角度和指节长度；3维几何模型使用一些几何形状，如圆柱体、球体、椭圆体等近似身体的某一部分（如手指、指节、手掌等），模型参数较简单。

4手部检测与分割

手部检测与分割是手势识别的基础。手部检测是检测图像数据是否有手，并找出手在图像中的具体位置。手部分割是将手部区域从图像中分割出来，便于后续操作，有利于减少计算量。手部检测与分割是手势识别的第1步，也是手势识别的基础。一般情况下表征物体有3种特性：边缘形状、纹理以及颜色。在一定距离时，手部的纹理表现较为平滑，对比性较差，因此利用纹理特征检测手部，优势不明显。对于手部检测，目前多用形状和颜色特征检测手部。因此，常见的手部检测方法大致分为以下几类：基于形状信息特征的方法、基于肤色信息的方法、形状特征和肤色信息相结合的方法和基于运动信息的方法。

5手势识别与其他视觉交互方式相融合

手势识别与其他视觉交互方式（如人脸识别、表情识别、步态识别等）相结合，能够提高人与机器人交互的自然性、多样性和鲁棒性，增强交互的丰富性和有效性，从而在一定程度上提高机器人的工作效率。Ju等人[96]使用面部表情、头部姿势和静态手势识别与机器人进行交互。Li等人[106]识别手形和手的运动轨迹，将指向手势与用户注意力检测（脸部检测和凝视方向检测）相结合。该研究使用3种摄像头：一个摄像头用于获取深度数据，一个网络摄像头用于补偿其低分辨率，并提供彩色信息。这2个摄像头用于手势识别和身体姿势预测。最后一个机器人上面的立体相机用于估计用户脸部和眼睛的注视方向，从而估计用户注意力的方向。

结束语

机器人视觉手势交互具有重要的科学价值和广阔的应用前景，随着机器人与人的联系越来越紧密，基于视觉的机器人手势交互必将在“人机协作”、“人机共融”中发挥重要作用，在家庭服务、助老助残、示范性教学等领域获得广泛应用。

参考文献：

[1]易靖国，程江华，库锡树。视觉手势识别综述[J]。计算机科学，2016，43（S1）：103-108.

[2]王晓华，李才顺，胡敏，等。服务机器人手势识别系统研究[J]。电子测量与仪器学报，2013，27（4）：305-311.