用意念控制机械臂抓取目标物 用脑电波指挥无人机群排队列……

• 
• 
• 

在西工大的实验室里
　　 用脑电波指挥无人机群
　　 用意念控制机械臂抓取目标
　　
　　 团队正筹备成立科技公司进行成果转化
　　 离普通人使用更近了
　　
　　 ——记者探访西北工业大学神经信息实验室，了解无创脑机接口发展情况
　　>>专家简介
　　 谢松云，西北工业大学人工智能学院教授、博士生导师。所带领的神经信息团队自2002年起深耕脑科学与人工智能交叉领域，聚焦非侵入式脑机接口实用化，在脑电在线解码与建模、脑机协同融合、认知增强、智能决策等方向实现原创突破，创新研发了脑机协同无人机（编队)、无人车、机器人、机械臂、脑机融合的人员状态检测和预警、人员情绪、注意（警觉度）、睡眠、记忆等监测与调控等技术和系统，完成从理论到应用的跨越。2004年牵头创建了陕西省脑机一体化及其无人系统应用国际联合研究中心、西工大神经信息实验室等多个高水平科研平台，形成完整的科研与软硬件支撑体系。承担了国家自然基金重点国合项目和多个部委项目在内的重要科研项目30余项，获得中国产学研创新奖、陕西省技术发明奖等10余项，发表高水平学术论文100余篇，授权/受理国家发明专利40余件，参与制定脑机接口团标2项。
　　 谢松云团队成员郑大路、徐天阳、田仲玉、张凯杰、高志远也参与了本次科普工作。
　　 用意念控制机械臂抓取目标物、“脑机协同”监测驾驶员注意力、用“脑电波”指挥无人机群排队列后空翻……这些非常科幻的场景，如今在西北工业大学神经信息实验室变成了现实。近日，华商报大风新闻记者探访该实验室，专访了西北工业大学人工智能学院教授、博士生导师，神经信息实验室负责人谢松云。
　　>>记者探访
　　通过意念发出指令 机械臂精准抓取目标物
　　 在神经信息实验室，操控人员头上戴着一顶特别的帽子——“脑电帽”，帽子上分布着诸多“电极”，操控人员目视电脑屏幕，旁边有一台机械臂及多个目标抓取物。电脑屏幕上，是不同目标抓取物的图像，当操控人员看向其中一个图像时，机械臂很快就会精准抓取对应的目标物，并放置在预定区域。“大脑每时每刻都在进行着极为复杂的活动，大脑皮层的神经元会瞬间产生电信号，这就是俗称的脑电波。帽子上的电极等装置就是为了吸收脑电波信号，电脑屏幕上的图像是为了通过视觉刺激，让操控人员的脑电波发生变化，帮助系统更容易区分不同意图，从而顺利完成大脑命令。”谢松云介绍。
　　 采用同样的原理，将脑电波发送给机器人，还可以实现“脑控机器人踢足球”。实验室里，操控人员正在一遍遍地试验，机器人则严格执行操作人员的意图——带球射门。在另一项实验中，科研团队搭建了模拟驾驶场景，该系统模拟了开车沿途会遇到的情境。在模拟驾驶过程中，脑电波实时监测系统直观显示驾驶员的注意力集中情况，并会在其分心时进行提醒。
　　 此外，谢松云教授团队还“上新”又一项成果：脑控点烟花。操控人员头戴“发带”，电脑上是一个点烟花的场景。当操控人员注意力集中时，烟花引信燃烧速度就会变快；如果分心，引信燃烧变慢甚至熄灭。“通过对注意力的检测，提取大脑产生与注意力相关的脑电波特征，仅用贴在额头的一个电极就可以检测到相应的脑电波信号，传输给计算机进行特征提取。计算机则会把提取出来的特征转换成相应的控制指令，发送给火苗控制软件。注意力集中，火苗就会变大，并且加速前进，从而实现‘意念点燃烟花’。”谢松云教授介绍。
　　>>专访问答
　　无创技术最大的优势就是安全方便
　　脑控无人机编队是如何实现的？
　　 华商报：靠意念操控无人机编队，这到底是怎么实现的？
　　 谢松云：大脑通常情况下同时会有很多想法，其中也包括对无人机编队控制的意念，但这些信号杂乱无章，我们无法分辨出其中哪个信号是控制无人机编队的意念。为了能够实现“意念控制”，就需要能够识别出对应每一个控制任务的唯一的意念特征。为此，我们根据人的生理响应机制，在显示器上设置了不同的闪烁方块，它们就像是遥控器上“向前飞”“向左转”“降落”等这些不同的按键，当我们全神贯注盯着其中一个“按键”、比如“向前飞”的闪烁块看的时候，大脑就会产生相应的唯一的脑电波特征信号。戴在头上的“脑电帽”，就像高灵敏度的探测器，实时检测到这种独特的脑电波特征信号，传送给计算机处理后把这个特征提取出来，这就能反推出操作者的意图——“哦，操作者现在正在看向前飞的方块，希望实现无人机编队执行整体向前飞的任务。”随后，计算机又快速将这个意图转换成对应的控制代码，发送给无人机编队，遥控无人机编队执行“向前飞”任务。这就是大家常说的“意念控制”技术。
　　脑控技术不用开颅 且方便操作
　　 华商报：无创脑机接口不用开颅，戴上“脑电帽”就能读取信号，这种“不伤人”的技术路线，与其他路线相比，最大的优势是什么？
　　 谢松云：我们这种无创技术最大的优势就是安全方便，就像戴上一顶装满传感器的泳帽或者运动头环，隔着头皮去听大脑内部的“声音”，虽然这种方法检测到的信号隔着颅骨会有所衰减，但它不伤人、不需要手术，没有电极老化和排异反应等问题，更容易被普通人接受，而且方便操作。这种随戴随取、成本低的特性，使得它具备走进千家万户的巨大潜力。
　　计算机解码程序是核心“翻译官”
　　 华商报：相关设备是怎么“读懂”这些电波，并把它变成无人机飞行动作的？中间有没有像“翻译官”一样的关键环节？
　　 谢松云：中间确实有一个核心“翻译官”，那就是我们的计算机解码程序。大家看到屏幕上不同的方块，分别按照不同的频率在闪烁，会诱发出大脑产生特定频率的电波。当眼睛注视屏幕上代表不同指令的闪烁方块时，大脑中会产生与飞行动作对应的脑电波特征信号。我们的设备把这些极其微弱且夹杂着背景噪音的生理信号采集下来后，立刻传输到电脑里，通过算法模型进行意图特征的辨识，这个算法程序就像是我们拿着一本极其精密的密码字典，它会快速对检测到的脑电波信号进行特征提取和识别，把实时的脑电波与字典里的特征库进行精准比对，把脑电波特征翻译成对应的命令，实现人机之间的高效且实时的沟通。
　　读取脑电波，用算法理解它
　　 华商报：机械臂抓物、驾驶监测、无人机……这些技术的核心逻辑是不是一样的？分别有哪些技术难点要攻克？
　　 谢松云：核心逻辑都是一样的：读取脑电波，然后用算法去理解它，用于相关的任务执行。但由于应用需求不同，我们采用的具体技术和要攻克的难点和技术路线有很大差别。
　　 脑机协同驾驶监测：这个应用需求是对司机开车时的状态进行实时监测，看看司机是否集中精力开车，如果有分心情况，就要及时发出预警，提醒他及时调整状态，专心开车，从而保证安全驾驶。这个技术从大脑“主动控制”变成了对大脑自发状态的“被动监测”。在这个系统中，我们采取脑机结合的方式，司机正常开车即可，没有额外的控制负担，系统在后台实时巡逻，实时提取司机的脑电波信号状态，同时结合车况数据，通过信息融合，实现对司机专心与否的及时判断。这里的技术难点在于，真实的驾驶环境极其复杂，比如有车体颠簸、光线明暗变化等，我们必须要在这种极其杂乱的日常脑电波中，实时、准确地剥离出代表疲劳或分心的微弱神经电特征，并保证极低的误警率。
　　 机械臂搬东西：这个应用需求是根据人的意图，控制机械臂完成正确物品的抓取运送和重新排列放置，其控制原理和控制无人机编队类似。关键技术在于，机械臂要在三维物理空间里完成抓取这种精细、连续的动作，而且需要对杂乱的物品进行精准辨识和抓取，再实现按规定任务进行重新规划，完成正确的排序。其难点在于，我们需要解决如何将屏幕上有限的意念指令，映射并转化为多自由度机械臂平滑、精准的空间运动轨迹，这不仅考验脑机接口的指令转换率，还需要极高的底层机械控制精度和对操作人员意图的精准快速识别，对脑机协同技术的设计和信号处理等都是很大的挑战。
　　能帮助身体残疾者进行康复训练
　　 华商报：相关技术在医疗康复、助老扶残这些民生领域，能帮到哪些人？比如瘫痪患者能不能用它重新活动肢体？
　　 谢松云：这项“非侵入式”脑机接口技术在医疗康复领域具有很大的应用前景，就是帮助老年人或身体残疾患者进行康复训练，更快速高效地恢复和增强体能。不需要动刀做手术，只要给患者戴上一顶“脑电帽”，就能安全、无痛地读取大脑的意图指令。很多高位截瘫的患者虽然肢体失去了运动功能，但他们的大脑依然是清醒活跃的。当他们在脑海里产生“我想往前走”的运动意图，或者注视屏幕想拿个杯子时，“脑电帽”就会迅速捕捉到这些意图特征，系统会快速把这些意图特征信号转化为控制指令，指挥外部的“外骨骼机器人”、智能轮椅甚至是智能环境系统，代替他们失去功能的四肢去执行动作。另一方面，利用“非侵入式”脑机接口技术研发的可穿戴式康复设备，可以帮助失能人员按照自身的意图进行康复训练。
　　可帮助多动症孩子提升专注力
　　 华商报：家长都很关心孩子的成长，相关技术能不能用到儿童教育或者儿童康复上？
　　 谢松云：完全可以应用，这属于神经反馈训练的一个重要分支。针对ADHD（注意力缺陷多动障碍）或者平时专注力不够的孩子，我们可以设计一套基于脑电波的交互小游戏。比如，系统会实时计算孩子的专注度指数，只有当设备监测到脑电波处于“高度专注”的阈值范围内时，屏幕里的赛车才会获得动力加速往前跑；一旦大脑出现走神特征，赛车就会立刻减速。这种训练巧妙地把看不见摸不着的“注意力”，具象化成了一个肉眼可见的、可被量化评估的游戏指标。孩子可以通过这种反馈反复练习，逐渐强化专注的神经通路，自主学会在大脑层面“找感觉”，激发他们的兴趣，提高注意力。
　　脑机接口将成为人机智能时代全新的基础设施
　　 华商报：脑机协同技术被称为“人机智能时代的关键”，未来5~10年，团队最想实现的突破是什么？您觉得它未来会怎样改变我们的生活？会不会有更轻便的设备？会不会像手机一样成为日常必需品？
　　 谢松云：目前技术发展迅猛，迎来的相关研究和应用的热潮，有非常巨大的应用范围和潜力，但相关技术还存在一些有待攻克的难点，未来5~10年，我们在硬件层面上最想实现的突破是设备的完全无感化和微型化，以及系统的信息传输带宽的进一步提升。现在的设备虽然免去了手术，但还需要佩戴专用的头帽、甚至使用导电膏来降低接触阻抗，日常使用还有些麻烦。未来，随着电磁、材料等相关技术的发展，我们希望脑电波传感器能做到像普通的运动发带、日常戴的眼镜一样轻便，甚至可以实现非接触性的监测和识别，免去佩戴脑电帽的麻烦。
　　 只要能给生活带来便利，能提高生活质量，就一定会成为大家喜欢使用的日常必需品，就像触屏手机彻底改变了我们依赖物理键盘的习惯一样，脑机接口将成为人机智能时代全新的基础设施。未来，我们期待通过脑机接口技术将人与数字世界的连接将变得无缝且高效，使“心想事成”取代部分繁琐的手工操作，成为一种极其自然、普及的交互方式。
　　 当被问到“现在有没有计划推向市场，让更多普通人能使用”时，谢松云表示，为了让这项前沿技术真正惠及大众，团队目前正在积极筹备成立科技公司进行成果转化。计划将通过软硬件的模块化设计以及算法的轻量化，实现仅用1个或几个电极的检测，就可以精准快速识别大脑意图等特征，大幅降低设备的生产成本，研发出更多实用的脑机接口产品。 华商报大风新闻记者 刘立春 任婷/文 王家真/图