0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

脑机交互的概念及标准化的必要性,讨论近年来脑机交互的发展状况

mK5P_AItists 来源:未知 作者:李倩 2018-10-04 15:22 次阅读

摘要:本文介绍脑机交互的概念及标准化的必要性,讨论近年来脑机交互的发展状况,重点阐述国内外植入式脑机接口的研究历程,并从脑机交互系统角度提出了脑机交互标准化的思考,同时介绍在脑机交互计算标准化方面的相关实践。

1 脑机交互概念及标准化

脑机接口(Brain-Machine Interface,BMI) 是指不依赖常规的脊髓/ 外周神经肌肉系统,在脑与外部环境之间建立一种新型的信息交流与控制通道,实现脑与外部设备之间的直接交互[1]。

脑机接口涉及信息科学、认知科学、材料科学和生命科学等领域,对人工智能、生物工程和神经康复等产生了越来越重要的影响。通过脑机接口威廉希尔官方网站 实现脑与外部设备的交互,则称为脑机交互。脑机交互是全新的人机交互方式,有望推动对大脑的更深入研究,并促进大脑智能和外部机器智能的融合增强( 混合智能),具有重大研究价值和应用前景。脑机交互中设备复杂、数据差异大、计算方法多样化,对脑机交互系统关键步骤进行标准化有助于规范脑机交互系统的构建、降低本领域研究的门槛,切实推动脑机交互的发展。

2 脑机交互的最新研究现状

根据获取脑信号方式的不同,可以将脑机接口分为植入式和非植入式两种。非植入式脑机接口直接从大脑外部获取脑信号,所记录的脑信号信息量较小、时间分辨率比较低,只能用来执行简单的操作控制,比如拨打电话、轮椅控制、运动假肢控制、打字等[2]。植入式脑机接口通常通过在大脑中植入芯片以获取脑信号,相对于非植入式信号,植入式脑信号在时间和空间分辨率更高,记录的信息量更加丰富,可以实现更复杂的控制。

2.1 非植入式脑机接口

非植入式的装置很方便佩戴于人体,但需要突破颅骨对信号的衰减作用和对神经元发出的电磁波的分散和模糊效应。典型的非植入式脑机接口采用的信号包括EEG 和P300 信号[3]。EEG 信号有着良好的时间分辨率,采集设备易用、便携,价格相对低廉。

这方面研究的一个典型例子是德国图宾根大学的Niels Birbaurmer 于1990 年进行的项目,该项目利用瘫痪病人的脑电图信号使其能够控制电脑光标,经过训练,十位瘫痪病人能够成功地用脑电图控制光标[4]。基于P300 的非植入式脑机接口典型例子是美国罗切斯特大学的Jessica Bayliss 的一项研究,受试者可以通过P300 信号控制虚拟现实场景中的一些物体,例如开关灯或者操纵虚拟轿车等[5]。

由于非植入信号的无创性,产业界也踊跃开发非植入式脑机接口应用系统,如图1 是日本本田公司生产的意念控制机器人,操作者可以想象自己的肢体运动来控制身边机器人进行相应的动作。近年来,国内清华大学、华南理工大学、电子科技大学、上海交通大学、浙江大学等均成立课题组投入非植入式脑机接口研究,并取得了一系列重要进展。

提取神经信号建立植入式脑机接口系统。Nicolelis 领导的研究小组采集了夜猴运动皮层神经电信号,对神经信号进行解码对远程机器臂进行实时控制( 开环控制),成功实现了“Monkey Think Robot Do”的神奇演示[6]。此后,Nicolelis 小组又成功开发了闭环机器臂控制脑机接口系统。同时,美国Pittsburgh 大学 Schwartz 实验室研究人员将微电极植入运动受限的猴子运动神经皮层,获取运动相关的神经电活动,并训练猴子利用思维活动控制机器臂( 图2) [7]。

2006年,美国布朗大学在瘫痪病人上实现脑电控制假肢[8],这是脑机接口的首次临床应用,具有里程碑的意义。Donohue 教授领导的研究人员在人脑中植入了芯片,直接控制电脑的光标,并用电脑控制其他设备。其他在植入式脑机接口方面取得比较成功的实验包括:2012 年,美国西北大学Miller教授实现了功能性电刺激控制瘫痪肌肉[10];2012年,美国匹兹堡大学实现人脑ECoG 信号控制机械手[11] 等。

图1 日本本田公司生产的用意念控制的机器人

图2 猴子脑思维控制机器臂进食

2.2 植入式脑机接口

植入式脑机接口能直接获取大脑皮层的神经集群信号,信息量大、时空分辨率高,锋电位(Spike)信号解码能够实现对外部设备多自由度的实时、精确控制。自本世纪以来,Nature 和Science 等报道了一系列侵入式脑机接口的重大研究成果[6-8, 10-11],相关研究促进了人们对神经系统的认识,建立了大量复杂信息处理方法,极大地推动了神经、信息与认知等学科的发展。

典型的植入式脑机接口系统包括:2000 年,杜克大学的Miguel 和Nicolelis 用在大脑皮层植入电极,2005 年以后,我国植入式脑机接口研究取得了重要的进展,尤其是浙江大学求是高等研究院郑筱祥教授领导的团队,已经成功在非人类灵长类动物上建立了脑机接口系统,实现了利用脑电信号对机械假肢的实时控制。猴子可以通过意念直接控制机械手完成抓、勾、握、捏四种不同的抓握手势,正确率达到85% 以上[12]。

3 脑机交互标准化思考及实践

3.1 脑机交互标准化思考

完整的脑机交互系统包括神经信号的采集、实验的范式设计、神经信号的解码、智能机器的控制等。当前,脑机交互系统在以上关键四步骤均存在很大的差异性,导致构建脑机接口和交互系统过程复杂、系统性能评估困难、难以推广。

考虑在脑机交互系统中提炼共性部分,建立交互标准具有重要意义,其中:神经信号的采集涉及到采集脑神经信号的设备标准以及所采集信号数据的表征标准;信号的解码涉及预处理、训练、测试等步骤,对应着解码算法的输入标准和解码算法标准;智能机器的控制涉及控制输入数据标准以及控制的设备和控制接口标准等。

具体应考虑以下标准化重点 [2]:

(1) 神经信号的采集设备标准。主要指采集spike、ECog、LFP 等脑电信号的植入式设备,需要根据所采集的不同信号对设备的材质、安全性等建立统一的标准。

(2) 神经信号的数据表示标准。由于不同信号的采集设备所采集的信号具有差异性,不同的实验人员对所采集的神经信号进行不同的信号预处理,所产生的神经信号也具有差异性,这种差异性加大了评估解码系统性能的难度。因此,神经信号的数据表示标准的制定显得尤为重要。

(3) 实验范式标准。指实验对象在实验过程中所遵循的行为规范模式,神经信号的提取便是在实验对象进行实验范式的过程中进行的,通过规范实验范式,有利于规范神经信号数据。

(4) 解码算法标准。主要是解码算法接口的标准化,这样有利于提高脑机交互系统的可扩展性,只需要按照标准的解码算法接口设计,便可方便脑机交互系统加入新的解码算法。

(5) 智能机器的控制接口标准。由于生产脑机交互的智能机器的硬件厂家很多,导致对智能机器的控制接口也错综复杂,因此制定统一的智能机器控制接口标准更能方便脑机交互系统的开发。

(6) 反馈信息输入标准。反馈信息的输入是双向脑机接口必须要解决的重点与难点,对信息输入进行标准化可以使得整个脑机交互系统更加稳定。

(7) 多模态信息的表征标准。主要指视觉、听觉、触觉等感觉信息的表征,有利于信息反馈的输入更加具有一致性。

3.2 脑机交互计算标准化实践

针对以上脑机交互标准化的思考,浙江大学计算机学院脑机融合研究团队正着手设计脑机交互计算部分的标准化系统和标准化建议。当前已有的脑机交互计算系统包括BCI2000、BCILab、OpenViBE、BioSig、FieldTrip 以及佛罗里达大学的DDDBMI 等。其中,BCI2000 是一个在线软件平台,以软件套件的形式提供服务,具有数据采集,脑电信号处理、学习及反馈等功能。BCILab 则以Matlab 的工具箱的形式呈现给用户,提供的服务包括:信号采集、特征提取、机器学习、BCI 范式、在线插件等。

OpenViBE 与BCI2000 类似,同样以软件套件的形式呈现,通过由用户定制场景的方式提供BCI 信号的处理和可视化。BioSig 兼容各种主流平台,提供了Matlab 与Octave 工具箱,也提供了C/C++Python编程语言下的函数接口库,专门提供生物医学信号处理,涵盖神经、脑机、心血管等,可以用来进行信号采集、处理、分类以及建模与可视化。DDDBMI 是最有代表性的脑机交互计算平台,其目标是设计一个自适应的中间件与工作站,能够管理实验信号采集、闭环机器学习、数据分析、在线解码等所有与其相关的工作。

DDDBMI 已开发了部分中间件功能模块,其服务包括提供实时操作的闭环机器学习系统。目前,DDDBMI 已开发了一个支持在线/ 离线实验的工作站,内含一个分布式计算系统,方便远程和本地用户参与的在线和离线实验计算根据需求动态分配资源。

现有的脑机交互计算系统存在以下不足:绝大多数系统仅针对1-2 类数据来实现相关的信号处理算法,可扩展性、可配置性较差。

因此,设计开发一个更普式的脑机交互计算标准平台十分必要,该系统解决以下问题:

(1) 数据表示不统一、解码算法设计不一致,导致无法对解码算法性能进行有效的对比;

(2) 实验范式设计复杂,负责设计与计算的通常不是同一个人,如何将范式的设计模块独立出来,以最大化不同人员的优势;

(3) 对于一些计算量较大的任务,应该考虑使用分布式架构。

为此,我们设计了一个统一数据表示方式、支持分布式计算、支持算法组件可配置、支持算法组件可扩展、同时支持在/ 离线任务的脑机交互计算标准平台。

图3 显示了脑机交互计算标准系统的架构。

用户可以使用拖拽的形式选择数据输入模块、预处理模块、算法训练模块以及测试模块等,然后配置相关实验参数,点击执行,计算系统便立刻自动检测相关模块、数据依赖,将计算任务交给后台进行处理,对于离线任务可以进行分布式以提高计算性能,同时实时将中间结果传递给前端界面以提供数据的可视化分析的功能。对于需要扩展的算法,只需要按照所提供的算法模块的接口进行实现即可。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 电磁波
    +关注

    关注

    21

    文章

    1454

    浏览量

    53821
  • 脑机接口
    +关注

    关注

    8

    文章

    373

    浏览量

    21525

原文标题:脑机交互研究及标准化实践

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    天宫二号成功发射 首次太空交互实验将启动

    交互将是未来人-通信交互的最高形态。”项目主要负责人、天津大学精仪学院教授明东介绍,
    发表于 09-18 09:18 976次阅读

    【OK210申请】交互接口

    )是一种新的交互通信系统,它可将大脑的思维活动转换成计算机或其他设备的控制命令。而我们基于接口的飞行器控制正是实现人类对机器控制的一个尝试,通过分析大脑的思维意识对原始电信号进行
    发表于 06-25 14:05

    接口系统中EEG 信号特征提取与分类Feature Ex

    接口(BCI)威廉希尔官方网站 是近年来国际上的研究热点之一,它通常利用脑电(EEG)来实现无动作的人机交互,运动想象是其中一种重要BCI 实验范式,利用第二届国际
    发表于 06-06 15:32 48次下载

    国产首款编解码集成芯片——“语者”正式发布!

    这是一款拥有完全自主知识产权的国产高集成-交互芯片,可适用于特种医学、康复医学、认知、神经反馈、信号处理等-
    的头像 发表于 05-21 17:03 7214次阅读

    马斯克公布Neurink首款“缝纫器”产品及威廉希尔官方网站 的实验情况

    今日,伊隆·马斯克在加州科学院的演讲上首次对公众展示旗下公司Neurink的公司状况团队。出乎意料的是,马斯克在会上公布了Neur
    发表于 07-18 15:20 1130次阅读

    基于神经网络算法的交互头部企业陆科技完成近亿元融资

      作为图灵未来资本投资的基于神经网络算法的交互头部企业,陆科技近日完成近亿元融资,让国产
    的头像 发表于 12-23 10:17 2563次阅读

    应用于穿戴接口的专用脑电EEG传感芯片KS1092

    专用芯片。凭借其高精度、低功耗、高集成度以及支持干电极输入等卓越性能,可应用于个性穿戴电EEG采集,如疾病监测、接口、
    的头像 发表于 04-12 10:47 3763次阅读

    交互威廉希尔官方网站 离我们有多远

    作为世界首富的马斯克,一言一行都受到全球关注。最近,马斯克再次在社交平台上语出惊人的表示,已经将自己的大脑“上传”到云端,现实版马斯克与“虚拟版”马斯克完成了对话。显而易见,交互威廉希尔官方网站 ,已经成为全球科技浪潮中的前沿威廉希尔官方网站 ,有望成
    的头像 发表于 07-30 14:57 1281次阅读

    现阶段接口发展到哪里了?

    该团队利用光纳米神经遥控威廉希尔官方网站 ,实现将接口设备微器件,可灵活精创植入,使用寿命可控,以及无线交互信息。 事实上,近几年有越来越多的中国科研团队开始在
    的头像 发表于 10-27 10:18 4062次阅读

    接口能干什么 接口的应用及前景

    接口(brain-machine interface,BMI) 医学上的解释是指不依赖常规的脊髓/外周神经肌肉系统,在与外部环境之间建立-种新型的信息交流与控制通道,实现与外部
    的头像 发表于 12-06 15:29 9600次阅读

    接口最新科研进展,以“半侵入”方式植入大脑!

    而且近年来接口有较明显的发展,比如从侵入式到非侵入式。控在专业医疗领域的应用,长期以来是通过侵入式BCI来实现的。不过
    的头像 发表于 02-20 10:06 2498次阅读

    Jetson 百万开发者故事 | NVIDIA Jetson 如何成为可移动智能交互平台

    交互威廉希尔官方网站 是探索大脑功能,治疗大脑疾病的重要手段,目前已经被广泛应用于信息解码、控、疾病
    的头像 发表于 03-10 23:10 669次阅读

    接口或将在这些领域率先取得突破

    记者了解到,2023年4月,北京脑科学与类研究中心已经启动神经界面与神经解码暨智能系统增强计划。天坛医院逐步形成了接口检测平台、
    的头像 发表于 06-05 15:39 727次阅读

    接口系统的柔性电极解析

    的基本、基本接口前提的关键。然而,传统的刚性电极由于对人体的潜在损害以及信号质量随时间下降而受到限制。这些因素使得柔性电极的发展变得至关重要和紧迫。近年来,由柔软材料制成的柔性电极
    的头像 发表于 09-28 11:16 3960次阅读
    <b class='flag-5'>脑</b><b class='flag-5'>机</b>接口系统的柔性电极解析

    工信部引领未来科技浪潮,接口标准化威廉希尔官方网站 委员会筹建方案揭晓

    接口标准化威廉希尔官方网站 委员会筹建方案”(以下简称“方案”),标志着我国在接口标准化道路上迈出了坚实的一步。
    的头像 发表于 07-02 14:13 360次阅读