用于情境感知情绪识别的深度学习技术
延世大学和洛桑联邦理工学院(EPFL)的一组研究人员最近开发出一种新技术,通过分析人物在图像中的面部以及背景特征来识别情感。他们在arXiv上发表的一篇论文中介绍并概述了他们基于深度学习的架构,称为CAER-Net。
多年来,全世界的研究人员一直在尝试开发通过分析图像,视频或音频剪辑来自动检测人类情感的工具。这些工具可以具有许多应用,例如,改善机器人 - 人类交互或帮助医生识别精神或神经障碍的迹象(例如,基于非典型语音模式,面部特征等)。
到目前为止,大多数识别图像情绪的技术都是基于对人们面部表情的分析,基本上假设这些表达最能传达人类的情绪反应。因此,用于训练和评估情绪识别工具(例如,AFEW和FER2013数据集)的大多数数据集仅包含人脸的裁剪图像。
传统情绪识别工具的一个关键限制是,当人们脸上的情绪信号模糊不清或无法区分时,它们无法达到令人满意的表现。与这些方法相比,人类能够不仅基于他们的面部表情而且基于语境线索(例如,他们正在执行的行为,他们与他人的交互,他们在哪里等)来识别他人的情绪。
过去的研究表明,分析面部表情和与情境相关的特征可以显着提高情绪识别工具的表现。受这些发现的启发,Yonsei和EPFL的研究人员着手开发一种基于深度学习的架构,可以根据面部表情和上下文信息识别人们在图像中的情绪。
研究人员在他们的论文中写道:“我们提出了深层网络,用于情境感知的情感识别,称为CAER-Net,它不仅可以利用人类的面部表情,还可以以联合和提升的方式利用情境信息。” “关键的想法是在视觉场景中隐藏人脸,并根据注意机制寻找其他环境。”
CAER-Net是由研究人员开发的架构,由两个关键的子网络和编码器组成,它们分别提取图像中的面部特征和上下文区域。然后使用自适应融合网络将这两种类型的特征组合并一起分析以预测给定图像中的人的情绪。
除了CAER-Net之外,研究人员还引入了一种用于情境感知情感识别的新数据集,他们将其称为CAER。该数据集中的图像描绘了人们的面部及其周围环境/背景,因此它可以作为评估情绪识别技术的更有效的基准。
研究人员使用他们编制的数据集和AFEW数据集,在一系列实验中评估了他们的情绪识别技术。他们的研究结果表明,分析面部表情和情境信息可以大大提高情绪识别工具的表现,正如之前的研究所表明的那样。
研究人员写道:“我们希望这项研究的结果能够促进情境感知情绪识别及其相关任务的进一步发展。”
热点推荐
- · 看看在黑暗中发光的三菱Evo汽车
Dip Your Car进行了一项实验,将三菱Evo转变为夜光汽车,其结果发布在同名的YouTube频道上。事实证明,将荧光漆涂在具有光亮层的身体上并
- · Memoji现在可以在最新的苹果iOS 1...
我认为这是我们只能与Emojis聊天的时候了,您的朋友仍然会理解您要说的话。如今,随着疯狂的表情符号数量的增加,您可以从表情符号选项卡中
- · 联想使用高通Snapdragon 865制造...
根据在weibo com上发布的图像,看来联想可能会推出自己的游戏智能手机,该智能手机将配备高通公司的顶级Snapdragon 865芯片组。此外,发布
- · 新消息确认荣耀X50Pro5G智能手机的...
昨天,realme宣布将在线发布 realme X50 Pro 5G。但很明显,该公司无意放弃这种戏弄,最新消息证实该智能手机的显示屏将具有90Hz的刷新
- · 在2020年亚马逊Prime Day期间可获...
亚马逊2020年Prime Day为各种耳机带来了很多优惠,包括索尼的新型WH-1000XM4无线耳挂式耳机,该耳机具有市场上最好的噪音消除功能。这套特
- · 索尼最好的降噪耳机在Prime Day上...
如果您从Verge链接购买商品,Vox Media可能会赚取佣金。请参阅我们的道德声明。2020年黄金日的第二天也是最后一天,但接下来的几个小时仍
- · Spotify现在拥有自己的iOS 14小部件
自iOS 14发布以来的几周内,越来越多的应用程序在增加新功能,以利用Apple最新更新中的功能。现在,Spotify也加入了。今天,领先的订阅音
- · 苹果TV应用程序出现在Sony的一些最...
如果您从Verge链接购买商品,Vox Media可能会赚取佣金。请参阅我们的道德声明。苹果的Apple TV应用程序首次进入了Android TV。索尼宣布
- · 宏G支持G-Sync的27英寸4K 144Hz游...
如果您从Verge链接购买商品,Vox Media可能会赚取佣金。请参阅我们的道德声明。宏A在亚马逊上的27英寸4K Predator游戏显示器的闪电交易持
- · 谷歌Glass正在添加Meet 以便远程...
您可能已经有一段时间没有考虑过Google Glass了,但其抬头显示器的企业版却有了一个巧妙的新技巧:它将能够使用Google Meet(以前称为Hang
- · 贝尔金的首批MagSafe产品是外观精...
苹果公司新的MagSafe配件生态系统还没有建立一天,但是Belkin已经开始使用新的使用磁性充电系统的充电配件,并推出了新的BoostCharge Pro
- · 谷歌的新手势系统将可用于所有Pixel设备
除了触摸屏幕或按下按钮外,我们还有许多其他方式可以与智能手机进行交互。借助最新的Google Pixel 4 系列的Motion Sense ,我们可以
- · 华为于2020年推出其6nm麒麟820 5G芯片
华为最近宣布,他们可能会推出新的麒麟820 5G芯片组,该芯片组将在2020年2月24日晚上9点举行的在线会议上揭晓。根据gizchina com的声明,
- · 华为将开发一款具有多达8个摄像头...
最近花姐发现有诸多的小伙伴们对于华为将开发一款具有多达8个摄像头传感器的智能手机吗这个问题都颇为感兴趣的,大家也都想要及时了解到华
- · 配备64MP AI Quad相机的荣耀6系...
realme在其官方网站上发布了一张图片,其中提到realme 6系列(包括realme 6以及Pro变体)将于2020年3月5日发布。虽然关于上述智能手机的完
- · 未来的智能手机会使用用户可更换的...
根据fd nl上的一份报告,看来欧盟正在制定一项提案,要求智能手机具有用户可更换的电池。这是由于以下事实:用户通常将旧的智能手机换成较
- · FlyPods 3是HONOR为您呈现的全新...
除了HONOR View 30 Pro 和HONOR 9X Pro,HONOR在巴塞罗那举行的发布会上也给我们带来了另一个惊喜。该公司已经宣布了名为HONOR FlyP
- · LG推出V60 ThinQ 5G智能手机和改...
大约两周前,我们得到了LG即将推出的旗舰智能手机的渲染图 ,暗示了其内部外观。好吧,渲染似乎很准确。LG正式发布了V60 ThinkQ 5G,已
- · 据说苹果的2020年WWDC将举行 传闻...
由于使用了COVID-19病毒,该疾病已成功地减慢了速度,并取消了大多数事件。最近的一次是2020年世界移动通信大会,也有谣言说东京奥运会也将
- · 三星为下一代智能手机推出12GB LPDDR4X DRAM
三星宣布将发布其用于下一代智能手机的新型12GB LPDDR4X DRAM,该芯片旨在用于未来的手机。我们可以预计,今年新的12GB LPDDR4X DRAM将