清华大学刘永进教授课题组提出基于便携式家用级别脑电设备的情绪识别新方法...
清华大学刘永进教授课题组提出一种从昂贵实验室级别的脑电设备数据进行迁移学习、提高便携式家用级别脑电设备的情绪识别能力的方法，该项研究于2023年被IEEE Transactions on Affective Computing期刊录用，论文的共同第一作者为刘永进教授指导的博士后刘舫和博士生杨培，刘永进教授指导的博士生舒叶芷、硕士生刘妮琦、盛芊芊共同参与了讨论和论文撰写，脑陆科技公司提供了研究所需的部分数据。IEEE Transactions on Affective Computing是国际上情感计算领域内的著名期刊，SCI影响因子为11.2。
全文官方链接：https://doi.org/10.1109/TAFFC.2023.3336531
脑电信号已被广泛研究用于人类情绪识别。现有的脑电情绪识别算法大多利用几十个或上百个电极来覆盖整个头皮区域(在本文中称为全通道脑电设备)。如今，越来越多便携和微型的脑电设备只有少数几个电极(在本文中称为少通道脑电设备)。然而，从少通道脑电数据进行情绪识别具有挑战性，因为较少的电极只能捕获来自大脑某个区域的脑电信号。此外，现有的全通道算法无法直接适应少通道脑电信号，因为全通道和少通道脑电设备之间存在重大变异。为了解决这些挑战，本文从迁移学习的角度提出了一种新的少通道脑电情绪识别框架。
全通道脑电信号通过基于迁移学习的模型（CD-EmotionNet）提供少通道信号的补充信息，该模型由高效情绪特征提取的基础情绪模型和跨设备迁移学习策略组成。该策略通过利用从全通道脑电数据学到的知识来提高从少通道脑电数据进行情绪识别的性能。为评估本文的跨设备脑电情绪迁移学习框架，构建了一个包含25位被试的18通道和5通道脑电信号的情绪数据集，以及其他13位被试的5通道脑电信号来评估CD-EmotionNet方法。大量的实验表明，本文的方法大幅超过目前已有的脑电情绪识别方法。
图 1. (a) 少通道脑电设备 (5个电极) 的电极分布（红色）；(b) 全通道脑电设备(18个电极) 的电极分布（红色和蓝色）。上面：根据国际10/20系统中的电极分布；下面：同一个用户的“恶心”情绪状态的能量图。
大多数现有基于脑电的情绪识别算法利用几十个或上百个电极来覆盖整个头皮区域，然而，这些设备通常不便携、昂贵，主要适用于实验室实验场景，这限制了现有工作扩展到更普遍的日常应用。目前已出现了一些只有几个电极的、便携的、微型的EEG设备，一些使用较少数量的电极的EEG信号进行情绪识别的研究也开始出现。尽管这些少通道EEG设备为各种应用带来便利，但它们也使得基于EEG的情绪识别更具挑战性。相比于全通道脑电设备，少通道脑电设备能够捕获的脑电信号较少。几乎所有少通道EEG设备仅提供覆盖大脑部分区域的电极。然而，已有研究表明，情绪不是单一大脑区域的功能，而是存在于整个大脑网络的激活或连接模式中，这意味着仅使用大脑的一部分EEG信号比使用全部EEG信号进行情绪识别更加困难。
从整个大脑皮层提取特征的全通道脑电识别方法不能直接应用于少通道信号的脑电情绪识别。究其原因，一方面，从少通道的脑电数据中提取有效的情绪模式更具挑战性；另一方面，这少通道和全通道脑电设备之间的差异很大。为应对上述挑战，本文从知识迁移的角度利用少通道脑电信号进行情绪识别任务，提出利用从全通道脑电数据中学习到的知识来提高从少通道脑电数据进行情绪识别的性能。
图 2. 基础情绪模型（base emotion model）框架。本文的基础情绪模型主要由图卷积模块、深度特征聚合和融合模块以及分类器组成。
本文将全通道辅助少通道脑电情绪识别任务形式化为迁移学习问题，并提出了一种新的基于特征聚合的跨设备脑电特征学习网络用于情绪识别，称为CD-EmotionNet。CD-EmotionNet由两部分组成：（1）一个基础情绪模型（base emotion model），用于提取空间-频谱-时域脑电特征并进行情绪分类；（2）一种跨设备迁移学习策略。基础情绪模型首先在全通道脑电数据集上训练；然后将学习到的情绪特征和模型参数迁移到少通道脑电情绪识别场景，以帮助提高从少通道脑电数据进行情绪识别的性能。
基础情绪模型的目的是通过特征聚类过程将局部特征描述符转换为紧凑的全局特征。考虑到情绪脑电信息具有整个大脑激活模式，鉴于图模型具有捕捉空间关系的优势，通过结合图卷积神经网络和深度特征聚合网络构建基础情绪模型，以提取情绪分类的有效空间-时域脑电特征。通过以学习方式聚集和聚合空间-频谱脑电特征，本文的方法可以捕捉脑电数据中的有效情绪相关时域模式。
图 3. 脑电情绪迁移学习框架包括两个阶段：（1）元模型训练阶段，旨在学习一个良好的模型初始化参数；（2）在模型微调和测试阶段，只需要少量的少通道脑电信号即可完成模型在新被试上的适应。
为进一步解决由于缺乏全通道脑电信息造成的信息稀疏的问题，将基础情绪模型与迁移学习策略结合起来，充分利用全通道脑电的信息来辅助少通道脑电情绪识别。本文提出的跨设备脑电情绪迁移学习方法构建在模型无关的元学习(MAML)框架上。MAML旨在进行模型的参数初始化学习，使得模型易于微调而应用于新的数据集。MAML的核心思想是在各种学习任务(元模型训练阶段)上训练模型，以便它可以使用另一个领域的少数几个样例进行新任务适应(元模型测试阶段)。本文通过提出新的基于MAML的网络更新机制，实现不同设备的脑电特征聚合网络的学习：在元模型训练阶段利用全通道和少通道成对的脑电信号来训练网络，而在模型微调和测试阶段仅使用少通道脑电信号。
为评估本文的方法，构建了一个跨设备脑电数据集CDEED，该数据集包含:(1)来自25名被试的成对的全通道（18通道）和少通道（5通道）的脑电数据，每组成对的数据包含使用相同视频刺激和实验方案采集的18通道和5通道EEG信号，(2)另外13名被试(不同于上述25名被试)的少通道（5通道）EEG信号。实验结果表明，CD-EmotionNet模型能够有效地提高少通道脑电信号的情绪识别性能，并在CDEED数据集以及另外三个公开数据集SEED-IV，SEED-V和DEAP上达到最先进的性能。
本文的基于迁移学习的少通道脑电情绪识别的主要贡献包括：
（1）从迁移学习的角度解决具有挑战性的少通道脑电情绪识别任务。通过设计一个基于迁移学习的模型（CD-EmotionNet），利用全通道脑电信号为少通道信号提供脑电情绪特征的补充信息，该模型包括一个用于高效情绪特征提取的基础情绪模型和一个跨设备迁移学习策略，通过从全通道脑电数据中提取的知识，提高少通道脑电数据的情绪识别性能。
（2）构建了一个成对的全通道和少通道脑电信号数据集，其中包含使用不同脑电设备的、相同被试的使用相同的一组刺激和实验范式收集的全通道和少通道脑电数据，来验证跨设备脑电情绪识别模型的性能。此外，在其他三个公共数据集（SEED-IV、SEED-V 和 DEAP）上进行的实验也表明CD-EmotionNet可以实现少通道脑电情绪识别最先进的算法性能。
图 4. 数据采集实验流程图。每次试验的流程包括：(1) 播放电影片段。(2) 自我评估。(3) 加法和减法操作，以及 15 秒的休息，以消除前一个试次对当前试次的影响。
图 5. KangII数据集的8类情绪分类混淆矩阵。图中展示了使用和不使用本文的迁移学习策略的结果。除了“恐惧”情绪外，在应用迁移学习训练过程后，其他所有情绪的识别准确率都有所提高，表明迁移学习策略的有效性。
参考内容
Fang Liu, Pei Yang, Yezhi Shu, Niqi Liu, Jenny Sheng, Junwen Luo, Xiaoan Wang, Yong-Jin Liu. Emotion Recognition from Few-Channel EEG Signals by Integrating Deep Feature Aggregation and Transfer Learning. IEEE Transactions on Affective Computing, DOI (identifier) 10.1109/TAFFC.2023.3336531.
—— End ——
仅用于学术分享，若侵权请留言，即时删侵！
加入社群
欢迎加入脑机接口社区交流群，
探讨脑机接口领域话题，实时跟踪脑机接口前沿。
加微信群：
添加微信:RoseBrain【备注：姓名+行业/专业】。
加QQ群：913607986
欢迎来稿
1.欢迎来稿。投稿咨询，请联系微信：RoseBrain
2.加入社区成为兼职创作者，请联系微信：RoseBrain
一键三连「分享」、「点赞」和「在看」
不错每一条脑机前沿进展 ~