采用改进共空间模式算法的四类表情辅助脑电信号识别方法

王迪,陶庆,张小栋,,苏娜,吴斌,方婧瑶,陆竹风

(1.新疆大学机械工程学院,830047,乌鲁木齐;2.西安交通大学机械工程学院,710049,西安;3.新疆医科大学第一附属医院,830054,乌鲁木齐)

脑机接口(brain computer interface,BCI)是一种不依赖由外周神经和肌肉组织组成的大脑信息输出通道而直接实现人脑与外部设备之间信息交流和通信控制的技术[1]。目前,BCI技术中常见的研究较为成熟的范式有运动想象(MI)、稳态视觉诱发电位、P300、事件相关去同步化/同步化,但由于脑电信号(EEG)的个体差异性大和非平稳性,在该技术的应用过程中依然存在识别准确率低、信息传输速率慢、设备不易实现便携等问题,这也是制约该技术发展的关键瓶颈。为了克服这些难题,2016年6月张小栋等[2]首次提出了表情辅助脑电信号的脑机接口方式,并根据人体生理机制对该新范式进行了建模仿真,从神经生理学的角度验证了表情辅助脑电信号的可分性。同时,该团队首次尝试使用小波变换和BP神经网络对表情辅助脑电信号进行特征提取和分类识别,其准确率可达85%。2018年,该团队利用OVO-CSP算法结合OVO-SVM算法对表情辅助脑电信号进行特征提取和分类,其离线平均分类准确率达到88.3%±4.8%[3]。在此基础上,该团队开展了脑控假手的在线实验,使得受试者顺利完成了手腕内旋、外旋、手掌抓取、张开共4种动作,成功利用表情驱动脑电信号实现受试者主动喝水的流程[3-4],这意味着脑机接口技术有了创新性发展,也为便携式脑机接口系统的发展提供了可能性。

表情辅助脑电信号是一种自发型的脑电信号,能更直接地表达受试者的运动意图[5],且无需前期的大量训练,无需额外增加刺激源,对受试者要求低,具有广泛的应用价值[6]。现阶段对于面部表情的研究趋势是用于监测患者在康复阶段的感受,在患者康复训练的过程中能够起到辅助作用,更好地实现人机交互[7-8]。与此同时,直接利用表情辅助脑电信号的BCI技术相比于其他范式,提出较晚且尚在发展阶段,因此进一步对表情辅助脑电信号做特征提取及分类识别研究具有很大意义。

对脑电信号进行有效且快速地特征提取及分类是实现BCI系统的关键技术[9],也是后续在线实验过程中提高控制准确率和降低控制延迟率的关键。由于表情辅助脑电信号同运动想象脑电信号均属于自发式类型,有一定的类比性,且表情辅助脑电信号识别的研究还主要集中在传统方法,故本文以相对研究较为成熟的MI脑电信号的特征提取和分类方法作为参照,选取最有效特征提取算法之一——共空间模式(CSP)算法——进行改进。在传统范式脑电信号领域中,对于CSP算法的研究有了一定的研究基础。刘宝等[10]提出了一种基于粒子群优化和CSP的运动想象脑电信号特征提取算法,该算法针对个体差异性用粒子群优化得出每个个体脑电信号的最佳时段和频段,这样经CSP提取出的特征要远远优于传统方法的。谷学静等[11]结合CSP和CNN算法对运动想象脑电信号进行空间滤波处理并提取时空域上的特征,实验结果显示,相比传统的CNN算法,所提算法的分类准确率有明显提高。张学军等[12]提出了一种基于局部均值分解、模糊熵以及共空间模式算法的特征提取方法,选取其中最具区分度的特征输入到支持向量机(SVM)中分类,并采用BCI竞赛数据集验证了该特征提取方法的有效性。

传统的CSP算法仅能做二分类识别问题的特征提取,若想实现多分类,就得对其进行扩展或改进[13],最简单的扩展如OVO-CSP、OVR-CSP等。其中:OVO-CSP是把多分类问题转换成多个二分类问题,即在每两类样本之间构造一个CSP投影矩阵,若有n类样本时,则需要构造n(n-1)/2个投影矩阵,这就会使得算法存在计算复杂度大、耗时长的问题;OVR-CSP是把某一类样本和其余类的样本看作两大类,以此构造CSP投影矩阵,该扩展方法的优点是只需要构造n个投影矩阵,计算复杂度有所降低,但精确度和稳定性较低。而且,由于传统CSP算法通常情况下只进行一个固定宽度的带通滤波处理,但脑电信号具有极强的个体差异性,且面部表情的脑电信号受噪声干扰的程度较严重,因此这种做法具有一定盲目性。

为了更好地解决上述问题,本文对扬眉、皱眉、左撇嘴、右撇嘴共4类面部表情脑电信号进行研究,提出了一种基于重复二分滤波器组共空间模式(FBCSP)和SVM(RB-FBCSP-SVM)算法的4类表情辅助脑电信号识别方法。不仅在一定程度上实现了个体频率滤波器的自适应优化,还可以有效降低计算复杂度、提高识别准确率。

1.1 实验安排

本文实验共有10名受试者(均为22～28岁身体健康的在校大学生,6男4女),且在实验前没有接受过任何训练。任务类型包含4种面部表情,分别是左撇嘴、右撇嘴、扬眉、皱眉。在实验过程中,要求受试者单独在一个安静的房间,做表情任务期间需避免不必要的身体活动。

具体实验流程如下:每位受试者每种表情需完成12组,每组实验重复做动作5次,即每一受试者的每类表情的脑电数据有60个试次,将脑电数据降维到N×T(N是通道数,T是采样点数)维;将每个试次作为1个样本,则总数据集共有2 400个样本;每个样本数据长度为4 s,采样点数为512。每组实验以蜂鸣器的第一个哔声记为开始时刻,受试者有2 s的准备时间,之后根据哔声提示开始执行一种表情并持续4 s,每组实验重复5次。为避免精神疲劳引起脑电信号的失真,每次动作之间有2 s的休息时间,每5组实验之间间隔1 min。图1是一组实验流程的具体说明。

图1 实验流程

1.2 实验数据

脑电信号的采集设备是Neuracle公司生产的NeuSen W16无线脑电信号采集系统,采样频率默认为1 000 Hz,共有16个采集通道,电极位置的分布是严格按照国际标准10-20电极定位方法来放置的,实验过程中所有电极的阻抗均保持在10 kΩ以下。每个面部表情都有各自的时域响应。Toth和Arvaneh[14]通过实验证明,在一般情况下,面部表情脑电信号的最优采样率为128 Hz。因此,本文的实验数据均做降采样处理至128 Hz。根据Nyquist采样定理,实验采集到的有效脑电信号频带宽度为64 Hz。

根据面部表情产生的神经生理机制,表情的加工是由前额叶皮质和边缘系统相互协调合作完成的[2]。本文实验结合博睿康科技(常州)股份有限公司NeuSen W16无线脑电信号采集设备16通道的脑电帽电极分布图和脑皮层结构图,确定选取F7、C3、F8、C4为有效脑电信号采集通道,具体如图2所示。

(a)脑皮层结构图

2.1 CSP特征提取原理

传统的CSP算法在两分类任务下进行空间滤波特征提取,能够从多通道的脑电信号数据中提取出每一类的空间分布成分,可以有效地对信号进行空间滤波。CSP算法的基本原理是利用矩阵的对角化,找到一组最优的空间滤波器进行投影,使得两类信号的方差值差异最大[15],从而得到具有较高区分度的特征向量。

具体数学原理如下。设X1和X2为两分类任务下的多通道脑电信号矩阵,维数为N×T,则X1和X2归一化后的协方差矩阵R1和R2分别为

(1)

然后,求混合空间协方差矩阵R

(2)

R=UλUT

(3)

式中:U是矩阵λ的特征向量矩阵;λ是对应特征值构成的对角阵。将特征值进行降序排列,白化值矩阵为

(4)

接着,构造空间滤波器。对R1和R2进行变换

S1=PR1PT;S2=PR2PT

(5)

S1、S2具有公共特征向量,而且存在λ1、λ2和特征向量矩阵B满足

S1=Bλ1BT;S2=Bλ2BT

(6)

λ1、λ2相加为单位矩阵,即λ1+λ2=1。这意味着S1的最小特征值总是对应S2的最大特征值,反过来也同理。因此,可以利用矩阵B解决两分类问题。计算投影矩阵

W=(BTP)T

(7)

将原始脑电数据X1和X2通过空间滤波器W得到矩阵

Z1=WN×N×X1;Z2=WN×N×X2

(8)

2.2 基于SVM的表情辅助脑电信号分类

在脑电信号分类问题上,SVM具有很强的泛化能力,擅长应付小样本、样本数据不可分的情况,主要通过松弛变量和核函数技术来实现[16]。由于表情驱动脑电信号具有非线性特点[17-18],所以需引入核函数来解决。对于核函数的选择,陆竹风等[4]在2018年就验证了在表情辅助脑电信号的处理上,OVO-CSP结合幂指核函数(RBF核函数的一种)是平均识别准确率最高的方法。所以,本文分类器选用幂指核函数[19],其数学表达式为

Krbf(xi,xj)=exp{-r‖xi-xj‖2}

(9)

与CSP原理类似,SVM是一个典型的二分类器。因此,若想用SVM算法实现多分类问题,就必须进行扩展。本文为了保证分类器的稳定性采用OVO-SVM的扩展方法[20]。图3是传统的二分类扩展为四分类的OVO-SVM方法结构图。

图3 传统二分类扩展为四分类OVO-SVM方法的结构图

2.3 基于表情辅助脑电信号的RB-FBCSP-SVM算法原理

FBCSP算法是在CSP算法的基础上增加了滤波器组,将原始脑电信号划分为多个子频段信号,再分别对每个滤波后的子频段信号使用CSP算法提取空间能量特征。FBCSP在较小的频率尺度范围内对有效数据进行分析,增加了信噪比,并在一定程度上实现了滤波器的个体自适应。

由于表情的产生时大脑前额叶皮层脑电信号的α波和θ波较为活跃[2],所以为了过滤出有效的脑电信号,减少高频干扰,本文使用3个起始频率为4 Hz、截止频率为16 Hz、带宽为4 Hz的巴特沃思带通滤波器构成滤波器组。频率滤波后的表情辅助脑电信号经投影后得到特征矩阵,其特征值由小到大排列。特征信息主要集中在特征矩阵的头部和尾部,中间的特征信息不明显,可以忽略。为避免特征重复,本文选取特征点对数为2,即3个频段中选择每个特征矩阵的前6行和后6行作为原始输入数据的特征向量,每个样本的特征向量维数是12。对特征向量其进行归一化处理,得到

(10)

式中yi为第i个样本归一化后的特征矩阵。

本文所提出的基于表情驱动脑电信号的RB-FBCSP-SVM算法结构如图4所示,具体步骤如下:

图4 RB-FBCSP-SVM算法结构

(1)将4类表情辅助脑电信号数据看成上面部表情(扬眉、皱眉)和下面部表情(左撇嘴、右撇嘴)两大类,用滤波器组将原始信号分成3个子频带,并分别对其进行CSP特征提取;

(2)将特征提取后大小为2 400×12像素的数据集输入到第1个SVM分类器中,识别出上面部表情和下面部表情两类信号;

(3)在上面部表情和下面部表情数据集中,分别重复进行一次CSP特征提取,将各自提取后的特征数据集分别输入到第2个和第3个SVM分类器中,并在五折交叉验证下得出4类表情辅助脑电信号的识别准率。

3.1 对比算法及度量指标

为了验证本文所提方法的有效性,结合OVO-SVM分类器,在相同数据集的前提下,设置OVO-CSP、OVR-CSP、小波包变换共3种对比算法。

小波包变换是一种非常有效的特征提取算法[21]。本文选取db4小波包基,将表情辅助脑电信号进行小波包变换4层分解,选取第4层的4～8、8～12、12～16 Hz子频段信号[22-23]。分别提取每个子频段的4个通道的信号能量均值特征,则每个样本的特征向量维度均为12。

度量指标及对比分析描述如下。

(1)运算耗时对比。为验证重复二分结构的有效性,将本文所提方法与传统的四分类OVO-CSP和OVR-CSP扩展算法进行计算复杂度及运算时长的对比[24]。

(2)特征差异性对比。为验证本文所提方法在特征提取阶段的有效性,将本文所提方法与传统的四分类OVO-CSP和OVR-CSP扩展算法进行归一化特征向量的对比。

(3)分类识别准确率对比。结合OVO-SVM分类器对比4种方法的分类识别准确率,该结果是在五折交叉验证下得出的共统计10次[25]。分类准确率定义为预测正确的样本数量占总样本数量的比例,公式为

(11)

式中:Ac为分类识别正确率;Tp为预测正确的正类样本数;Tn为预测正确的负类样本数;Fp为预测错误的正类样本数;Fn为预测错误的负类样本数。

3.2 结果分析

从图4可以看出,本文所提方法只需计算3个投影矩阵、设计3个SVM分类器便可以达到很好的分类效果,而传统的OVO需要6个投影矩阵和6个分类器,OVR也需要4个投影矩阵和4个分类器,本文方法大大降低了计算复杂度。

在10名受试者的脑电信号经EEGLAB工具箱进行简单预处理的前提下,本文所提方法的总样本数据特征提取+分类识别的运算时间约为92.4 s,而在传统的OVR和OVO扩展方法下的运算耗时分别高达221.7、179.3 s。因此,在计算耗时方面,本文方法表现出明显的优势。

图5～7是本文RB-FBCSP算法重复3次二分后特征值的分布情况。从图5可以看出,上面部表情和下面部表情的特征值差异明显,上面部表情整体呈下降趋势,下面部表情整体呈现上升趋势,说明了重复二分结构第一步的有效性。图8和图9是传统OVR-CSP、OVO-CSP算法特征提取后4种表情任务的特征值。对比图5可以看出,本文算法后两次提取的特征值类间差异明显,而传统扩展算法提取出的特征值没有明显的差异,故本文算法更有利于提高分类识别效果。

图5 RB-FBCSP第1次特征提取后的特征值

图6 RB-FBCSP第2次特征提取后下面部表情的特征值

图7 RB-FBCSP第3次特征提取后上面部表情的特征值

图8 传统OVR-CSP特征提取后4种表情任务的特征值

图9 传统OVO-CSP特征提取后4种表情任务的特征值

表1是对所有受试者进行表情辅助脑电信号识别的五折交叉验证的10次识别准确率。可以看出,本文RB-FBCSP算法的平均识别准确率为89.614%,相比于传统的OVO-CSP、OVR-CSP和小波包变换结合SVM分类得出的平均识别准确率分别提高了9.23%、9.82%和8.04%。

表1 10次五折交叉验证下的识别准确率

本文针对表情辅助下多分类脑电信号特征提取困难、计算复杂度高的问题,提出了一种重复二分滤波器组共空间模式(RB-FBCSP)算法用于四分类表情辅助脑电信号的特征提取,并结合支持向量机(SVM)分类器对提取出的信号特征进行分类识别。与传统的四分类扩展算法相比,本文所提方法的计算复杂度明显降低,平均分类准确率也有一定的提升,计算耗时极大缩短。本文研究可为在线脑控技术及便携式脑控技术提供参考。

猜你喜欢电信号特征值特征提取一类内部具有不连续性的不定Strum-Liouville算子的非实特征值问题数学物理学报(2021年6期)2021-12-21基于联合聚类分析的单通道腹部心电信号的胎心率提取成都信息工程大学学报(2021年4期)2021-11-22一类带强制位势的p-Laplace特征值问题数学物理学报(2021年5期)2021-11-19基于一类特殊特征值集的扩散算子逆谱问题数学物理学报(2021年3期)2021-07-19单圈图关联矩阵的特征值烟台大学学报（自然科学与工程版）(2021年1期)2021-03-19基于Gazebo仿真环境的ORB特征提取与比对的研究电子制作(2019年15期)2019-08-27基于Code Composer Studio3.3完成对心电信号的去噪科技传播(2019年24期)2019-06-15基于Daubechies(dbN)的飞行器音频特征提取电子制作(2018年19期)2018-11-14基于随机森林的航天器电信号多分类识别方法北京航空航天大学学报(2017年9期)2017-12-18Bagging RCSP脑电特征提取算法自动化学报(2017年11期)2017-04-04