可以识别视力智障情绪的装置设计

.李放, 高,岩,武小雨, 吉琦辉, 王传志

[1]

摘要

本设计公开了可以识别视力智障情绪的装置设计，包括：眼镜，眼镜上设置有图像捕捉模块和微表情获取模块，图像捕捉模块和微表情获取模块分别能够采集人物面部表情和微表情，处理模块，处理模块与图像捕捉模块和微表情获取模块电连接，处理模块能够根据采集的人物面部表情和微表情识别出对应人物的情绪信息，情绪反馈模块，情绪反馈模块用于接收所述情绪信息，该可以供盲人使用的情绪识别眼镜通过表情与微表情识别分析，能够实时向视障用户反馈对方的情绪信息，及时、高效的帮忙视障者更好的独立社交。

1.前言

自2018年以来，奥图科技在创始人叶晨光的带领下，设计出一款盲人眼镜。CoolEye盲人眼镜它前端的摄像头模组通过精确地进行视觉信息捕捉，在摄像头上用的sony更加广角的摄像头模组，通过芯片处理之后，将信息转化为音频信息，通过骨传导设备告知盲人。如果环境音非常大骨传导会通过振动以及和双耳便携耳机一起来提供振动音频信息，让盲人朋友更好的识别前方道路。

同时，国外也对此做了研究。素以研究的高水准而著称的牛津大学英国《每日邮报》报道，英国牛津大学的斯蒂芬·希克斯博士研制出一款智能仿生眼镜，利用针孔摄像头和口袋电脑提醒佩戴者前方出现人或者物体。据研究人员解释，这副轻巧的仿生眼镜外观上与其他眼镜无异，不过它在眼镜架的两侧装有针孔式摄像头，可以“看”前方的人或物。如果前方遇，见障碍物，针孔式摄像头会将信息传送到.IPHONE手机大小的微型电脑上进行即时处理,并会显示在镜片内侧的LED板上，以不同组合的闪光信号进行提醒。针孔摄像头也可捕捉到公车号码或铁路出发版.上的数字信息，并由微型电脑进行分析;处理完毕后，信息将通过听筒传送到佩戴者的耳朵里。

当前的视障者辅助产品中，关注于视障者在社交中的情绪识别领域的比较少，由于涉及领域不够广泛，使用起来也比较麻烦，而视障者由于在视觉的缺陷，在社交中，并不能像正常人那样比较好的跟社交对象进行交流，并且从对方的面部表情来识别对象在沟通中的情绪变化。

2.设计内容

本设计的目的是针对现有技术中存在的不足，提供可以识别视力智障情绪的装置设计，该可以供盲人使用的情绪识别眼镜通过表情与微表情识别分析，能够实时向视障用户反馈对方的情绪信息，及时、高效的帮忙视障者更好的独立社交。

为了实现上述目的，本设计提供可以识别视力智障情绪的装置设计，包括：

眼镜，眼镜上设置有图像捕捉模块和微表情获取模块，图像捕捉模块和微表情获取模块分别能够采集人物面部表情和微表情；处理模块，处理模块与图像捕捉模块和微表情获取模块电连接，处理模块能够根据采集的人物面部表情和微表情识别出对应人物的情绪信息；情绪反馈模块，情绪反馈模块用于接收情绪信息。还包括语音信息获取模块，语音信息获取模块能够采集声音信息，声音信息包括语速、语调和声音大小，处理模块与语音信息获取模块电连接，处理模块根据采集的人物面部表情和微表情配合声音信息识别出对应人物的情绪信息。

图像捕捉模块还能够采集环境背景和身体语言。

还包括数据库单元，数据库单元包括面部表情数据、微表情数据、语音数据和历史人物数据。

处理模块包括图像识别模块、语音和语义识别模块、微表情识别模块和情绪综合分析模块；图像对比模块用于将人物面部表情与面部表情数据对比，语音和语义对比模块用于将声音信息与语音数据对比，微表情对比模块用于将微表情与微表情数据进行对比，图像识别模块、语音和语义识别模块、微表情识别模块的识别比对结果输入情绪综合分析模块进行分析。眼镜包括镜框和镜腿，镜框的鼻梁处设置有与图像捕捉模块和微表情获取模块电连接的摄像头，镜框的眉梢处设置有与语音信息获取模块电连接的收音器，镜腿上设置有与处理单元电连接的播音器，能够播报处理单元的分析结果。

镜腿上还设置有调节开关，调节开关能够调节播音器的播报音量。

镜框上还设置有电源键。

情绪综合分析模块进行分析包括：根据面部表情数据进行面部表情分析，得出第一分析结果；根据第一分析结果和语音数据进行声音信息分析，得出第二分析结果；根据微表情数据进行微表情分析，得出第三分析结果；将第二分析结果和第三分析结果进行比对，得出最终结果；第一分析结果、第二分析结果和第三分析结果通过比例形式输出，综合比例最高的为最终结果。

处理模块能够根据图像捕捉模块自动捕捉对象，且优先捕捉历史人物数据中有记载的对象。

图1供盲人使用的情绪识别眼镜的原理图

3．实现方式

如图1所示，可以识别视力智障情绪的装置设计，包括：

眼镜1，眼镜1上设置有图像捕捉模块和微表情获取模块，图像捕捉模块和微表情获取模块能够采集人物面部表情和微表情；处理模块，处理模块与图像捕捉模块和微表情获取模块电连接，处理模块能够根据采集的人物面部表情和微表情识别出对应人物的情绪信息，；情绪反馈模块，情绪反馈模块用于接收情绪信息。

具体的，人物情绪信息包括开心、难过、生气、尴尬、恐惧、说谎、真诚、紧迫、平静；

情绪反馈模块为播音器，通过处理模块、图像捕捉模块和微表情获取模块集成在眼镜1上方便视障者随身携带使用，隐蔽方便，通过处理模块根据采集的人物面部表情和微表情识别出对应人物的情绪信息，方便视障人员及时掌握对象的情绪变化，提高双方的沟通效率，更好的方便视障人员独立社交，通过播音器播报识别结果。

进一步，处理模块根据采集的人物面部表情和微表情配合声音信息识别出对应人物的情绪信息包括利用虚拟技术结合声音信息、人物面部表情和微表情与数据库单元进行比对分析，识别对象的图像与语言信息，进行分析确定对象的情绪。

在本设计中，还包括语音信息获取模块，语音信息获取模块能够采集声音信息，声音信息包括语速、语调和声音大小，处理模块与语音信息获取模块电连接，处理模块根据采集的人物面部表情和微表情配合声音信息识别出对应人物的情绪信息。

通过人物面部表情和微表情结合语速、语调和声音大小的变化确认对象的情绪状态，提高识别准确性。例如紧迫时声音变大，语速加快。

在本设计中，图像捕捉模块还能够采集环境背景和身体语言。

通过结合环境背景分析现场状况，并通过肢体动作的身体语言结合心理学进行分析，适应多人物的套论交流环境使用，有效分析出情绪发泄对象，确认相应情绪对象，避免识别错误。

还包括数据库单元，数据库单元包括面部表情数据、微表情数据、语音数据和历史人物数据。

通过数据库单元储存相应比对文件，同时利用历史人物数据记录熟人信息，方便熟人之间交流，降低运算负担。

处理模块包括图像识别模块、语音和语义识别模块、微表情识别模块和情绪综合分析模块；

图像对比模块用于将人物面部表情与面部表情数据对比，语音和语义对比模块用于将声音信息与语音数据对比，微表情对比模块用于将微表情与微表情数据进行对比，图像识别模块、语音和语义识别模块、微表情识别模块的识别比对结果输入情绪综合分析模块进行分析。

情绪综合分析模块结合图像识别模块、语音和语义识别模块、微表情识别模块的识别结果进行综合判定，提高判定准确度。

眼镜包括镜框和镜腿，镜框的鼻梁处设置有与图像捕捉模块和微表情获取模块电连接的摄像头，镜框的眉梢处设置有与语音信息获取模块电连接的收音器，镜腿上设置有与处理单元电连接的播音器，能够播报处理单元的分析结果。

通过摄像头和收音器采集影音用于分析，通过播音器播报分析结果。

播音器为骨传导耳机，能够及时隐蔽的传递分析结果，避免外放声音引起对象尴尬。

镜腿上还设置有调节开关，调节开关能够调节播音器的播报音量。

镜框上还设置有电源键。

通过电源键控制处理模块的启闭，节约电能。

情绪综合分析模块进行分析包括：

根据面部表情数据进行面部表情分析，得出第一分析结果；根据第一分析结果和语音数据进行声音信息分析，得出第二分析结果；根据微表情数据进行微表情分析，得出第三分析结果；将第二分析结果和第三分析结果进行比对，得出最终结果；第一分析结果、第二分析结果和第三分析结果通过比例形式输出，综合比例最高的为最终结果。

通过情绪综合分析模块综合分析面部表情、声音信息和微表情的分析判断结果，通过三个结果相互验证进行最终判定，提高准确性，避免单一信息判定出现识别错误。

能够预先进行实验，分析三种条件下，对于情绪识别的判断是否统一，设置误差值的比例。首先根据数据库单元结合不同的面部图像，先通过面部图像跟数据库单元对比进行分析，得出情绪可能性占比；其次根据上下文语义进行判断得出情绪可能性占比；最后根据微表情对比得出情绪可能性占比。综合三类情绪识别占比综合分析，得出最终占比。占比率最高的即为当下情绪识别结果。

处理模块能够根据图像捕捉模块捕捉对象，且优先捕捉历史人物数据中有记载的对象。

通过历史人物数据方便快速识别熟人，有效从人群中锁定对象，适应多人交流见面使用。

本设计可以供盲人使用的情绪识别眼镜使用时，以使用者和对象二人对话为例，启动眼镜后，摄像头和收音器实时收集现场信息，图像捕捉模块和微表情获取模块通过摄像头采集环境背景、身体语言、人物面部表情和微表情，语音信息获取模块通过收音器采集对象的语速、语调和声音大小，处理模块根据采集的信息进行分析判断，确认对象的情绪拨动变化，并在变化时通过播音器进行播报，方便使用者判断对象情绪，以及及时调整谈话。

4.使用实例

1)通过摄像头结合图像捕捉模块和微表情获取模块捕捉沟通对象的面部表情(包括正面和侧面)和微表情，同时通过收音器和语音信息获取模块采集声音信息，通过数据库单元进行文本语义对比分析，结合面部表情对比分析，以及微表情数据库单元对照分析，通过三种识别方式的有机统一分析，更加准确的定位被捕捉用户的情绪状态；

2)运用虚拟技术进行数据比对后的场景模拟综合分析，结合环境背景，通过场景模拟分析出社交对象的情绪状态以及最佳的沟通方式，实时反馈给视障者以便进行最佳的沟通交流调动；

3)语音反馈：通过语音实时反馈交流对象的情绪反应，视障者通过语音的反馈，及时调整自己的沟通表达，帮助视障者在独立的情况下进行更好的社交。

4)除了传统的情绪识别，还包括微表情分析，通过微表情识别分析，能够帮忙视障者识别社交对象的潜在情绪、潜在意识，如同为视障者提供了一双接近真实的“眼睛”。

以上已经描述了本设计的各设计，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各设计。在不偏离所说明的各设计的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

5创新点

1)该可以供盲人使用的情绪识别眼镜通过表情与微表情识别分析，能够实时向视障用户反馈对方的情绪信息，及时、高效的帮忙视障者更好的独立社交。

2)该可以供盲人使用的情绪识别眼镜使用便利、操作简单，通过语音的方式传达给视障者，解决了部分视障者是由于后天视觉缺失，不懂盲文的现状，减轻视障者在独立社交中的负担。

3)该可以供盲人使用的情绪识别眼镜，帮助视障者进行更好的社交，一定程度上避免了由于视觉缺失，导致被欺骗、语言冲突，识别出异常情绪。

4)该可以供盲人使用的情绪识别眼镜通过数据库单元的技术模型进一步优化，能够应用于视障者学习生活，在精确性、灵敏性、可操作性、经济性等方面有较高的应用价值。

5)该可以供盲人使用的情绪识别眼镜的造型跟普通眼镜相似，携带方便，且不会引起他人异样的眼光。

参考文献

[1]. 王文博，张海燕，李晓菲，等. 基于GPS定位系统的盲人智能眼镜技术优化[J]. 现代信息科技. 2020,4(12).

[2]. 谭玉白. 爱普生AR智能眼镜-视觉障碍患者的福利[J]. 计算机与网络. 2018,44(01).

[3]. 刘霞. 新型“智能眼镜”帮盲人导航[N]. 科技日报(中央级).2013,11

[4]. 徐进波,陈晨. 基于语音交互的盲人出行辅具设计[J]. 艺术与设计(理论). 2018,2(05).

[5]. Mary. 新型智能眼镜可让盲人看到前方物体[J]. 今日电子. 2013,(12).

[6]. Ivy. 微科技.[M]. 健康之家2014,(10).

[7]. 张阿维,高小针. 盲人智能眼镜[J]. 包装工程. 2018,39(02).

[8]. 赵嘉怡. 智能眼镜帮助失明者“阅读”[J]. 中外管理. 2020,(01).

[9]. 李亚晗. 设计思维的方法在为残障人设计实践中的应用[J]. 郑州轻工业大学学报.2020

基金项目：(营口理工学院2022年大学生创新创业训练计划项目).

 通讯作者：高岩（1980—），女，辽宁大连，副教授，硕士，研究方向为物流工程.

---