直接脑控多机器人协作任务研究

发布时间：2019-09-28

　　【摘要】 脑控是一种新的控制方法。传统脑控机器人主要是控制单个机器人完成特定任务，而脑控多机器人协作(MRC)任务是一个有待研究的新课题。本文介绍了参加世界机器人大赛“脑—机接口(BCI)脑控机器人比赛”获得“创新创意奖”的一个试验研究，试验设置了 2 个脑开关，采用基于稳态视觉诱发电位(SSVEP)的 BCI(SSVEP-BCI)控制人形机器人和机械臂完成协作任务。通过 10 名受试者的控制试验结果表明，通过适当设置脑开关，采用性能优良的 SSVEP-BCI 能够实现 MRC 任务的有效完成。本研究可望为未来实用化的脑控 MRC 任务系统的研究提供启发。

　　【关键词】 脑控;脑—机器人交互;多机器人协作;脑开关;稳态视觉诱发电位

　　引言

　　脑控是一种新的控制方法，而直接脑控机器人是脑控与机器人控制交叉融合的一个重要应用[1-3]。科学家和工程学家已认识到，脑—机器人交互是一种新型的人—机交互技术，可能通过脑—机接口(brain-computer interface，BCI)架起人脑生物智能与机器智能之间的桥梁[4]。这方面的探索研究不仅具有重要的脑科学意义，也具有潜在的应用前景。

　　通常，传统的脑控机器人主要集中于脑控单个机器人来完成特定任务，例如：脑控智能小车、机械臂、轮椅、仿人型机器人等外部设备[5]。这些试验研究可用于帮助运动残障人士控制外部设备或机器人，从而借助于外部设备改善其生活质量，同时相关研究也为正常人开辟了一条人脑与机器人直接关联的道路。然而，在实际应用中，对于较复杂、需要不同操作系统协作的任务，难以借助单一机器人来完成，而且需要采用直接脑控的方法来进行协调控制，这就需要探究直接脑控多机器人协作(multi-robot cooperation，MRC)来完成任务，这是一个尚待探索的新课题[3]。

　　在直接脑控 MRC 任务中，为实现多机器人之间的灵活转换与配合，脑开关的设计是一个需考虑的关键因素之一。所谓的脑开关是指通过检测脑电信号中的特定特征并将其视为控制状态，以确定系统的开启或停止的一种控制模式[6]。不仅系统的起停需要用脑开关来控制，多机器人之间的灵活切换也需要脑开关来实现。同时，脑开关的引入还可以大大减少刺激界面中的目标个数，即相对提高指令识别率，可以更好地实现多机器人之间的灵活控制与相互配合。然而，脑开关存在一个重要问题，即其运算分析过程复杂，尚不够简便快捷。

　　此外，从实用性角度出发，在直接脑控 MRC 任务中，需要一种稳定、准确和快速的 BCI 系统。在已有的 BCI 范式中：基于运动想象的 BCI 可分类的类别数有限，单次识别率不高且不稳定，需要一定量的训练，并存在 BCI 盲的缺陷，其传输的比特率也有限[7-8];基于事件相关电位 P300 的 BCI 虽然可分类目标数多，但往往需要多次叠加来识别，传输的比特率也有待提高[9];相比之下，基于稳态视觉诱发电位(steady-state visual evoked potentials， SSVEP)的 BCI(SSVEP-BCI)不仅可分类目标数多、单次识别率高、传输的比特率较高，而且所需训练次数较少甚至无需训练，整体效率明显高于其他 BCI 范式，因此从实用性考虑，SSVEP-BCI 具备了优于其他 BCI 范式的优良特性，这也表明了其更符合脑控 MRC 任务的需要[10]。

　　为探求有效的脑控 MRC 方法，本文拟采用稳定性、准确性和快速性较好的 SSVEP-BCI 技术，利用性能优良的典型相关分析(canonical correlation analysis，CCA)算法，并创建多个一键式 SSVEP 脑开关，实现实时脑控 MRC 作业。本文致力于解决 BCI 面向实际应用中的复杂难题，并可望为未来实用化的脑控 MRC 任务系统提供启发和思路。

　　1 材料和方法

　　1.1 受试者信息

　　本文试验共选取 10 名受试者，随机编号为 S1～S10，其中 6 名男性、4 名女性，年龄介于 22～27 岁之间，健康状况良好，视力正常(或矫正后正常)。试验开始前，对每名受试者进行训练，使其能熟记各指令内容并可达到灵活运用的程度。此外，还教授受试者 SSVEP 相关的理论知识以及注视屏幕的注意事项。所有受试者对试验研究均知情同意，研究得到昆明理工大学学校道德委员会批准。

　　1.2 试验方法设置

　　1.2.1 试验研究平台　如图 1 所示为脑控 MRC 任务试验研究平台，包括人形机器人、机械臂、SSVEP 刺激呈现界面、计算机、视频反馈装置(Ipad)、脑电信号采集装置。本试验所用脑电信号采集装置为 Neusen.W(32 通道，博睿康科技(常州)股份有限公司，中国)，由脑电帽、脑电信号放大器(无线)及无线路由器三部分构成。脑电帽导联位置符合国际 10-20 标准，记录电极为 Pz、P3、P4、PO3、 PO4、PO7、PO8、O1、Oz 和 O2，参考电极为 CPz，接地电极为 FPz;调整电极阻抗在 5 kΩ 以下，采样频率设置为 250 Hz。本试验所用机器人包括机械臂(LSC-6，深圳市幻尔科技有限公司，中国)以及人形机器人(Super-M，北京智能佳科技有限公司，中国)。

　　1.2.2 试验策略　试验选用 SSVEP 触发脑电信号的刺激范式，利用矩阵实验室软件 Matlab R2015a(MathWorks Inc.，美国)中 Psychtoolbox 工具箱实现。所用液晶显示屏(呈现刺激界面)刷新频率为 60 帧/s，如图 2 所示，界面呈现的刺激目标为 12 个闪烁方块，每个方块有其特定闪烁频率，对应的分别为：8、10、8.5、13、9、11、9.5、14、13.5、 10.5、15、12 Hz。

　　为有效完成脑控 MRC 任务，试验对图 2 中的 12 个刺激目标(闪烁方块)分别设定对应的控制指令，如表 1 所示。人形机器人利用指令(包括 2 个脑开关指令)可以控制运动方向【左转 45°、前进一步(5 cm)、右转 45°、左跨一步(5 cm)、后退一步(5 cm)、右跨一步(5 cm)】以及执行特定动作(下蹲、起立)。其中，2 个脑开关指令为：① 总控制脑开关，用于控制整个试验进程的开启与停止;② 转换脑开关，用于实现多机器人(控制对象)之间相互切换。机械臂利用指令(包括 1 个脑开关指令)可以实现整体左转 45°、整体恢复中立、整体右转 45°、后臂前倾 45°、后臂复位、中臂前倾 45°、中臂复位、前臂前倾 45°、前臂复位、手爪张开和手爪咬合等 11 个动作，其中脑开关指令为转换脑开关，用于转换控制对象。人形机器人和机械臂均采用蓝牙与试验研究平台相连接。

　　在 SSVEP-BCI 的研究中，通常有同步和异步两种控制方式。在同步方式下，受试者不能自己掌控试验时间，必须以计算机/系统的控制节奏为导向，配合其执行操作。然而，人们在实际应用中往往需要选择自定节奏的控制方式，即异步方式，也就是说，在异步 SSVEP-BCI 系统中，受试者可以按照自己的意愿及控制需求，实现在线实时地对系统进行操作，其时间由自己掌握。本研究实现的是 MRC 任务，利用人形机器人与机械臂协同合作将货物运送至指定地点，即需实现多机器人之间的相互合作，完成单个机器人不能完成的复杂任务。为使脑控 MRC 任务更为人性化并贴近实际应用，因此本研究采用异步 SSVEP-BCI 方式，受试者可自定节奏地对系统进行控制。在该方式中，采用在线异步刺激，即界面不间歇闪烁，无需触发脉冲，时间窗长设定为 2 s，每 0.5 s 对数据进行一次分析得出最大相关系数，当最大相关系数大于(或等于)设定的阈值时，对应的指令被存储为一个待定指令，当最大相关系数不满足阈值条件时，将被存储为一个空指令。这里采用三指令判定原则，即只有当存储的 3 个连续的待定指令相同时，系统才会判定其为一个目标指令并输出。由此可知，系统识别并输出一个目标指令的时间为 1.5 s。

　　一般而言，阈值是在线异步 SSVEP-BCI 系统成熟的标志，是区分受试者处于任务状态与非任务状态的关键。在本研究中，当脑电信号经 CCA 算法处理后得出最大相关系数，首先会将其与阈值进行对比，若值大于(或等于)阈值，则系统认定受试者为任务状态，那么最大相关系数对应的指令将被存储为一个待定指令，若值没有达到阈值标准，则系统认定受试者为非任务状态，此时将存储一个空指令。另外，本研究在既定试验策略下对 SSVEP-BCI 系统调试发现，在阈值的选取范围(0～1)内：当选取阈值为 0.5(或小于 0.5)时，系统会出现指令频发的状况且错误率偏高;当阈值为 0.7(或大于 0.7)时，虽然指令的错误率很低，但识别指令的时间会 延长很多;只有当阈值为 0.6 时，能更好地满足系统的要求，因此本文根据试验调试将阈值设定为 0.6。

　　当识别指令后，系统会播报语音(“滴”声后报出具体指令/动作)，受试者在“滴”声后应立即停止注视，观察反馈视频中机器人动作，进而规划下一个指令的实施，此处“滴”声持续时间约 0.2 s。另外，为防止指令连发，以及考虑到机器人执行指令所需时间，系统设定为输出一个目标指令后，停止 1 s 接收指令数据。

　　此外，本研究中引入了实时视频反馈环节，在刺激屏幕下方增加一个显示屏，实时反馈 MRC 任务的执行情况，受试者可根据现场情况自行调整路线及控制策略，该实时视频反馈有助于受试者完成脑控 MRC 任务。

　　1.3 脑开关的设计

　　用脑电信号控制的开关在 BCI 中具有重要的作用及意义[11-12]。本试验旨在探索脑控 MRC 任务，为贴合实际应用，符合未来用户对 MRC 任务的需求，实现多机器人之间控制的相互转换，特设计出两个实用、便捷且易实现的脑开关，即一键式 SSVEP 脑开关切换，包括：总控制脑开关与转换脑开关。两个开关均为基于 SSVEP 设置的，当受试者注视屏幕上对应的脑开关闪烁方块时，其脑电信号中会出现与刺激相应的频率成分或倍频成分，通过计算机对受试者脑电信号分析，可以识别出相对应的脑开关指令，进而有效控制完成 MRC 任务。

　　总控制脑开关控制整个试验的开始和结束，识别成功后，系统语音播报“试验开始/试验结束”，且只有在试验开始后，受试者才可以对任务系统进行试验操作。而在试验开始前及结束后，系统只能识别总开关指令，不接收其余指令。此脑开关的设计不仅可大大减少对系统的误操作，而且使得受试者掌握了试验的主控权，可以自主地控制试验流程。

　　转换脑开关用于转换控制对象，识别成功后自动切换控制对象，系统语音播报“机器人/机械臂”提醒受试者停止注视刺激目标。转换脑开关的设计使得受试者可随意在多机器人之间跳转，实现对每个控制对象的灵活控制，其过程更加人性化，也更贴近于实际应用。

　　综上所述，本研究设计的两个脑开关不仅可以 “随心所欲”地控制试验进程，还可以实现多机器人之间稳定、准确和快速的切换，使得脑控 MRC 任务更为方便、可靠和高效。

　　1.4 优良的 SSVEP-BCI 算法

　　CCA 算法是利用两个综合变量之间相关关系来表现两组指标之间整体相关程度的多元统计分析方法[13]。将 CCA 算法应用到 SSVEP 的分析之中，是根据 SSVEP 的频率与刺激的固定频率相同或成倍数这一特性来实现多分类的[14]。两组多变量分别为X和Y，首先定义X∈R C × N 为脑电数据的多通道信号，其中 C 为通道数，N 为每个通道的采样点数;定义Y∈R 2Nh × N 为每个刺激频率对应的参考信号。

　　1.5 试验过程

　　1.5.1 试验准备阶段　在准备阶段，相关人员会教授受试者试验任务、SSVEP 相关的理论基础知识以及试验注意事项等内容，另外，受试者需熟记各刺激目标对应的指令内容，并达到可灵活运用的程度，熟悉了试验内容及指令后，每名受试者可进行 3～5 次预试验(初步训练脑控 MRC 任务试验)来熟悉搭建的试验研究平台。

　　1.5.2 指令测试试验　为探索此试验系统对于脑电信号采集、目标指令输出的准确性、稳定性与快速性，同时验证 SSVEP 刺激界面及其刺激频率的规划排布的有效性，在正式试验(脑控 MRC 任务)之前，首先进行指令测试试验，试验内容与形式较 MRC 任务要简单且易于开展。具体试验流程为：首先计算机驱动 SSVEP-BCI 程序，显示器呈现 SSVEP 刺激界面，受试者端坐于试验桌前，正面朝向刺激界面，此时 12 个刺激目标不间歇闪烁，受试者在调整好自身状态后，由工作人员指挥开始指令测试试验，首先注视第一个刺激目标，受试者的脑电信号将经无线路由发送至计算机，随后计算机对接收到的脑电数据进行分析，当识别出目标指令后，以“滴”声的形式对受试者提醒，此为一次注视结束，受试者应立即停止注视，转为注视下一个刺激目标，直到对 12 个刺激目标全部注视完毕，为一次完整试验，该试验重复 3 次。

　　期刊推荐：《机器人技术与应用》(双月刊)1988年创刊，是公开发行的科技刊物，国际机器人联合会会员单位，在国内自动化领域享有很高的声誉，国外亦有一定的影响。本刊主要报道工业自动化和机器人领域的相关理论、技术与应用等方面的最新进展情况，涵盖面广，集知识性与趣味性于一体，具有很强的技术性和可读性。