↑ 点击蓝字关注极市平台

作者丨贲晛烨，任亿

来源丨中国图象图形学报

编辑丨极市平台

极市导读

山东大学贲晛烨教授团队联合清华大学刘永进教授团队、复旦大学张军平教授团队和中科院心理所王甦菁教授团队等发布了一个新的数据集——微-宏表情仓库(MMEW)，并从神经心理学、现有的数据集、用于微表情分析的各种特征、相关算法等各个方面进行了全面的分析和讨论。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

面部表情分为两类——宏观表情和微观表情。人们可能通过宏观表情来掩饰或抑制自己的真实情绪，但微表情是无法控制的，因此微表情可以揭示出人们试图隐藏的的真实情绪。

现有的微表情数据库大多在启发范式、标记方法或数据量等方面存在不足；微表情研究领域尚没有一个全面的调查为研究者提供系统的概述和统一的评价。

针对这些问题，《中国图象图形学报》编委山东大学贲晛烨教授团队联合清华大学刘永进教授团队、复旦大学张军平教授团队和中科院心理所王甦菁教授团队等，在IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）上发表论文《Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms》。

同时发布了一个新的数据集——微-宏表情仓库(MMEW)，并从神经心理学、现有的数据集、用于微表情分析的各种特征、相关算法等各个方面进行了全面的分析和讨论。

01 论文信息

论文标题：

Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms

论文作者：

Xianye Ben,Yi Ren,Junping Zhang,Su-Jing Wang，Kidiyo Kpalma，Weixiao Meng，Yong-Jin Liu

发表期刊：

IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI)

引用格式:

X. Ben et al., "Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms," in IEEE Transactions on Pattern Analysis and Machine Intelligence, doi: 10.1109/TPAMI.2021.3067464.

论文链接：

https://ieeexplore.ieee.org/document/9382112

MMEW 数据集发布网址：

http://www.dpailab.com/database.html

联系人：

贾文强，904487821@qq.com

02 研究背景和思路

表情是人类生活中固有的一部分，人们在面对面交流时，会自觉或不自觉地通过面部表情表现出来。面部表情作为一种典型的非语言交际形式，在分析人类情感方面发挥着重要作用，因此在各个领域得到了广泛的研究。

由于微表情是瞬时的、低强度的，其检测和识别十分困难，严重依赖于专家经验。由于其内在的特殊性和复杂性，基于视频的微表情分析具有很大的吸引力和挑战性，成为近年来研究的热点。虽然这一领域已经有了很多的发展，但是至今还没有一个为研究者提供系统的概述和统一的评价全面的报告。针对这些问题，本文填补领域空缺并发布了一个全新数据集。

论文强调了宏观和微观表情的神经心理学差异，分析总结了现有的各种相关数据集，分类了用于微表情分析的图像和视频特征，并借本文发布的数据集比较总结了用于微表情识别的有代表性的算法，最后提出了微表情分析的潜在应用，挑战和未来研究方向。

03 实验方法和结果

实验方法：采用五折被试独立的交叉验证方法。

重要数据结果：

① 七个公开发布的微表情数据集。

② 采用三种对齐算法和两种插补算法实现LBP-TOP算法的最高识别率。

③ 在MMEW和SAMM上使用手工特征的不同分类器的微表情的识别率(%)。

④ 利用最先进的方法对MMEW和SAMM进行微表情识别。

⑤ TLCNN在MMEW（左）和SAMM（右）上预测的混淆矩阵。

⑥ 预训练前、微调后和测试阶段的数据源和识别率(%)。

04 研究结论

论文综述了自发人脸微表情分析(包括数据集、特征和算法)的研究现状，发布了一种新的人脸微表情识别数据集——MMEW。论文进一步比较了现有最先进的微表情分析方法的性能，分析了其潜力，并指出了未来微表情分析研究的突出问题。

05 作者简介

贲晛烨，教授，博士生导师，山东大学信息科学与工程学院，研究领域：图像处理、模式识别、机器学习、情感计算、数据挖掘、人工智能等。

Email: benxianyeye@163.com

贲晛烨教授团队在IEEE T-PAMI、IEEE T-IP、IEEE T-CSVT、IEEE T-MM、PR 、CVPR等国内外核心期刊会议上发表学术论文96篇，1篇入选ESI高被引论文，被评为2019年《中国图象图形学报》新媒体高关注度作者。申请国家发明专利74项，授权41项，转让1项，成果社会效益显著。