《基于3d模糊视觉的情感分析和影片剪辑中的脑电图特性》由会员分享，可在线阅读，更多相关《基于3d模糊视觉的情感分析和影片剪辑中的脑电图特性（11页珍藏版）》请在金锄头文库上搜索。
1、基于3D模糊视觉的情感分析和影片剪辑中的脑电图特性 摘要在本文中,我们提出一种情感识别系统对于理解人类在观看影片剪辑时的情绪状态。随着时间的推移使用各种电影剪辑场景变化,一个3 d模糊主旨是用于动态情感从低级视觉特征提取功能,和一个3 d模糊的张量用于语义层面上的大脑功能与人类的情绪状态有关。在动态视觉特性的情况下,三维模糊GISTconsists L * C * H *颜色(L:轻盈;C:色度;H:色调)和方向信息的一个影片剪辑在一个预定义的时间间隔。动态的大脑特性,我们处理脑电图扫描器信号,刺激的影片剪辑产生一种情感状态,通过一个独立成分分析(ICA)消除工件,和短时傅里叶变换)提取可靠的
2、特性。获得一个半球的力量不对称,大脑信号的三维张量数据建立了根据时间813赫兹能量的乐队()和伽玛乐队(30 - 60 Hz)。最后,3 d模糊主旨和3 d模糊张量通过模糊c均值聚类使用视觉和EEG信号,分别。的获得三维模糊主旨和3 d模糊张量特性被用作输入到一个自适应去噪推理(简称ANFIS)分类器,它提供了使用平均分数(苔藓)教学意见信号。使用一个简称ANFIS分类器,实验结果表明,提出的三维模糊视觉和脑电图功能是有效地建立一个情感识别系统。一、介绍 质量改进和便利化的人机交互(HCI)已经成为计算机科学中的一个研究问题1。日益增长的兴趣在人机交互、智能机器正在开发满足用户需求和提供服务来
3、提高我们的生活质量。情商需要认识和理解用户的情感。在情感计算社区,有研究趋势估计引起的情绪看电影为各种应用程序2-4。当用户观看视频剪辑,例如,他们根据他们的认知体验情绪判断和评估的情况(5、6)。因此,重要的是了解人类认知过程的认知情况及其与情感。场景知觉的研究已经表明,观察者可以识别一个特定的场景在一个单一的一瞥。由于视觉信息中发挥着重要作用影响用户的情绪状态8,许多研究人员关注人类情感的视觉内容特征(9 - 12)。王、郑13使用音频和视频功能分类基本情绪引发了从电影场景。Hanjalic和徐4引入了“个性化内容交付”作为情感的有价值的工具索引和检索系统中,基于视频内容的特性选择根据他们
4、的关系valencearousal空间。老大等。14提出了一个潜在的主题模型通过定义情感电影视听语言在检测期间情绪唤起不同的场景。层次结构基于激励的电影内容分析方法和价相关的特性,提出了徐et al。15。视频也提高了音乐的情感特征和图像推荐系统。山等。3使用情感特征通过内容分析来提高电影音乐推荐系统。情绪反应对电影场景使用外围生理信号的特征级融合和内容特点提出了Soleymani et al。2。一些证据表明,自然刺激更可靠和充分激活人类的情感反应16。 另一方面,个人的情感体验取决于很多方面,如环境,文化,性别, 和年龄。对同一刺激的情绪反应可能是主观的。如果一个可以识别的情感体验和相关的
5、认知过程相关的刺激从直接皮层神经记录,它将与高适用性更广泛的含义,一个新的计算机接口系统的发展,以及治疗神经精神疾病,包括一个功能失调的处理情感信息17。脑电图,它反映了大脑的电活动,可以提供一个主观的情感偏见基于主题的经验18。使用脑电图和外围生理信号特性,高桥和Tsukaguchi19情感视频的反应分为欢乐、悲伤、厌恶、恐惧、和放松。Koelstra和佩特雷18还利用脑电图和外围physio-logical信号分类情感在音乐视频。然而,这两种分类方法显示平均水平的准确性。 情感识别洋溢着不确定性,模糊集和可能性理论作出了重要贡献而言,如何表示和处理这种不确定性20。自自然场景的要点包括所有
6、级别的视觉信息代表知觉和概念水平21,用于处理这种不确定性的模糊概念。模糊的要点被用来提取emotion-specific当观看自然静止图像基于内容的图像特性。FCM聚类,采用模糊分区,这样一个给定的数据点在一定程度上可以分为几个不同的团体会员级别指定,用于获取图像的模糊主旨。自主情感识别系统的开发基于模糊要点,可以分析和理解情感与自然场景图像和发展自己与人的交互来理解更复杂的人类情感(22 - 24)。然而,视频刺激包括连续图像帧包含各种类型的情感根据时间序列的信息。虽然已经有大量的研究为情感识别、视频内容分析等方法没有有效地处理一个影片剪辑的动态特性。因此需要使用一种特征提取方法提取等动态
7、特性。 在本文中,我们提出一个三维模糊特征提取方法,称为三维模糊主旨,内容分析,三维模糊张量的脑电图提取情感与动态特性特征25。本文提出一种情感识别系统利用脑电图信号和内容特征响应等动态视觉刺激的电影。提出的三维模糊要点是用来从低级视觉信息获取情感特征,如颜色和方向信息,和3 d模糊张量是用于获得情感的特性从一个脑电图提取主观知识的情感。特征提取两个模式连接形成一个特征向量。基于主题的反馈情绪唤起一个影片剪辑,采用自适应神经模糊推理系统(简称ANFIS)学习的特性和分类两个价状态转化为积极或消极情绪26。拟议的情感识别系统可用于机械主义的情感融入认知架构,确保一个人形机器人与人类交互可能共享一
8、个相似的和一致的特定的视频剪辑或situation.Fig情感。1描述了该模型的总体信息流动为理解人类的情绪唤起在观看影片剪辑。第二部分描述了该模型,包括低层次和语义层面上的情感动态特征提取基于3 d视觉模糊和脑电图特点和分类器的设计,实验结果和第三节细节。一些结论和未来工作遵循在第四节的讨论。二、材料和方法2.1 收购协议本研究采用的实验视觉刺激包括从电影和纪录片中选出的视频片段。到在我们的研究中，我们总共使用了16个视频片段分为两组正负视频片段基于从学科获得的平均意见分数(MOS)没有参加实验的人。最积极的视频中包含了包含美丽的纪录片片段自然的场景，而消极的视频属于一种类型比如行动或恐怖，
9、或者是一部关于自然的纪录片灾难。图2显示了每个视频的一些示例帧。视频剪辑的选择标准如下:(i)场景的长度应该相对较短，(ii)场景应该无需解释，就可以理解场景应该在主题中引出单一的目标情绪，而不是多种情绪。我们实验设计的协议如图3所示。一个固定的十字架显示了一个时期5秒内，播放了一段情感电影片段。参与者被被要求不要移动他们的身体，看电影片段它的结局是30秒。十二名受试者(8名男性和4名女性，年龄)21 - 29岁，平均年龄为27岁，参加了我们的实验。他们的脑电图从额叶中连续记录下来中央波瓣电极(AFz,F3,F4,F4,FC3,FC4,FC4,T7,C3,Cz，如图3所示，一个64频道的EEG
10、系统的C4 T8使用生物交流MP150数据以1250赫兹的速率数字化采集系统。AFz被当作地面，而被连接起来耳垂被用作降低心电图的参考(ECG)工件。阻抗保持低于10 k。所有渠道使用0.1 - 100 Hz带通滤波器在网上进行预处理一个活跃的陷波滤波器。数据采集系统被设置为触发器视觉刺激的出现。每个人的脑电图记录在情感电影片段停止后，审判结束了。这两个第一个和最后五个s的影片剪辑被用作基线脑电图信号。在记录了每一次试验后，实验对象得到了一个问题naire被要求提供以下信息:(i)什么看完电影后你的情绪状态如何?(2)消极到积极吗?(iii)以9分的比例来评估你的情绪强度。图4显示了(iii)
11、的比例，其中1和4(带1是最积极的)代表积极的情绪，6和9之间的评分(9是最负的)表示负面情绪。5的评级表明主题既不消极也不积极。最后,你以前看过这些电影片段吗?在这里,我们只考虑两种情绪，即。积极的和消极的，用于分析。该实验的基本事实是基于此基础的在MOS上(由它们的正或负分数表示)在初步研究中给影片剪辑。2.2。情绪识别使用脑电图和内容分析2.2.1。视觉特征提取人的情绪可以通过刺激产生连续图像的因子27。根据28，一段关系存在于直线方向和动态感觉之间一个图像。图像中的水平线代表平静，稳定性和开放性，而垂直线代表直接性和明确。圆圈和软边的图形会诱发优雅和节奏27。另外，大家都知道颜色信息图
12、像中包含的内容戏剧性地影响人的情感状态29。场景的视觉方向和颜色信息从a中构建3D模糊梗概的基本特征是什么影片剪辑，基于场景与场景之间的关系情感的传达。Gabor函数30被用作操作符提取方向信息，如下所示方程式。(1)和(2)。在这个方程中,表示cos的波长因素,表示垂直方向的条纹伽柏函数,是指定的空间长宽比Gabor函数的椭圆支持。方向特征向量是一组多尺度的输出量取向过滤器。减少抽样是用来减少dimen的每一个多尺度滤波器的输出大小为N ?作为一个结果表明，图像帧的方向可以用a表示向量和N N ?K维，K是多少多尺度方向过滤器。L n(n)H n的颜色空间(亮度，选择颜色信息的29是一个影响
13、人类情绪状态的重要因素。是亮度表示颜色的亮度，色a表示颜色饱和度，颜色表示使用的不同颜色。基于颜色心理学的31理论，浅色的调用灿烂，光明，活泼的情感。暖色让人快乐,充满活力和兴奋的感觉，而冷色会导致悲伤，沉重和压抑的情绪29。与此同时，高饱和度的色彩可以产生绚丽的情感，而低饱和度的颜色会引起谦虚和优雅的感觉32。因此，我们需要使用方向和颜色特征从一个L n的H颜色空间获得。为了减少计算时间，颜色和方向特征都被向下采样M ?M,M比N大。2.2.2。脑电图特征提取脑电图是一种强大的非侵入性工具，广泛应用于两者医学诊断和神经生物学研究，因为它可以以毫秒为单位，直接提供一个较高的时间分辨率反映了生成
14、细胞组件的动力学。对于任何涉及脑电图的应用，一个重要的步骤从这些因素中移除工件，如眨眼，肌肉噪音，心脏信号。最常用的清洁技术之一是独立的部件分析(ICA)33。ICA是一种信号处理技术用一种统计独立性的度量来线性分离来自不同来源的混合信号。一个ICA分离多通道记录的时间课程是最大的相互独立，在这个意义上，贡献最大对记录的数据有不同的信息。因此，ICA是可以的用于消除噪声，当它与不同的信号混合时诸如眨眼的东西。我们用x线性表示混合物的元素x 1,x n,和同样的年代源信号的随机向量元素s 1,s n。让我们表示一个混合矩阵与元素A ij。所有的向量被理解为列向量。使用这个函数向量矩阵表示法一个I
15、CA的线性模型可以写成现在，ICA的目标是恢复独立的组件(ICs)从观察到的线性混合物而不知道源信号和混合矩阵y表示活动的估计时间课程与IC相对应的统计模型。(4)是称为独立成分分析。的EEGLAB34工具箱用于将ICA应用于多通道EEG记录分离成几个独立的脑源(4)考虑脑电图的非线性动态特性信号，指数分析包括计算在内对库托西斯和李亚普诺夫指数进行分类工件和节奏35。如果一个特定IC的峰态值是积极的，活动的分布是高峰和稀疏的，而IC可以被归类为眼球运动当看电影的时候眼睛眨眼睛，或者是基于a的心脏信号阈值。我们还计算每个IC的LE，如果LE是负数，集成电路可以分为周期性组件或基本的节奏基于阈值。被归类为眼球运动的ICs被设置为零，而周期分量谱是用的短时间傅里叶变换(STFT)。纠正脑电图信号然后是派生在哪里u是所有独立分量的矩阵将手工组件表示为零。在拒绝每一次试验的物品后，我们考虑的是STFT36。一种STFT，最简单的时间频率表示，是由计算生成的2D表示使用滑动的时间窗口进行傅里叶变换。使用STFT,我们可以观察EEG信号的频率如何变化随着时间的推移。让x(n)是一个信号定义为所有n,并让x me jSTFTx n(n)评估在时间和频率。那时可能是STFT定义使用Eq。(6)。(6)显
