摘要：

情感计算是为了赋予计算机识别、理解、表达和适应人类情感的能力,以此实现高效、亲切的人机交互。人类情感有着表情、语音、生理信号等多种载体,进行多模态情感识别研究可以促进情感计算的发展,而多模态情感识别研究需要多模态情感数据库的支持。当前的情感数据库多是单模态的,虽有少量的多模态数据库但是还存在着一些不足的地方。因此设计并建立一个包含平静、高兴、惊奇、厌恶、伤心、生气、害怕7种情感的多模态情感数据库具有重要的理论意义。本文首先设计了同步采集表情图片、语音、前额脑电信号三种模态数据的采集方案,筛选影视素材并制作了情感诱导视频,设计了每种情感的语音文本；随后搭建了情感采集实验系统,通过预采集实验查找原设计方案中存在的问题并给予解决。接着组织实施了情感采集实验,同步采集了包含16位研究生三种情感模态数据的视频和脑电信号,并记录了每个人在各情感采样点处的情感状态及强度。制定了情感数据文件的命名规则,从录制的视频文件中截取出带有目标情感的表情图片和语音段,对表情图片和滤除了噪声的语音段进行情感评判,选取带有强烈目标情感的表情图片和情感语音,并对表情图片进行人脸区域选择和灰度处理、对情感语音进行起始点和长度标定,根据被试人员的主观评判和当前情感采样点处的表情及语音情感状态共同评判脑电信号的情感状态,并依据语音信号的起止点和脑电记录文件中的时间标选出情感表达强烈时刻的脑电信号。最终建立了一个包含333幅表情图片、273句情感语音、230段前额脑电信号的多模态情感数据库。

年份：2012