资料介绍
描述
背景
在过去十年中,由于仿生假肢在改善中风后患者和截肢者生活质量方面的重要应用,其研究和开发取得了显着增长。根据 Grand View 研究数据库 [1],2020 年全球假肢和矫形器市场规模为 61.1 亿美元,预计 2021 年至 2028 年将以 4.2% 的复合年增长率增长。截肢,残余肌肉和假肢之间的控制接口(即神经机器接口)对于仿生假肢的自然运动至关重要。如图 1 所示,基于肌电图 (EMG) 的控制界面已广泛应用于医学以及一些娱乐应用,如假肢控制、康复手套、或者为VR游戏提供另一种交互方式。基于 EMG 的神经机器接口可以测量电活动以响应神经对肌肉的刺激,以识别人体运动意图并将记录的 EMG 信号转换为有效的控制信号以驱动外部假肢。最近,由于从许多用户那里收集的大量 EMG 数据以及学习算法和计算设备的进步,深度学习在进一步提高基于 EMG 的控制界面设计的准确性和鲁棒性方面显示出巨大的潜力。然而,深度学习方法临床部署的一个关键挑战和障碍是它们的高计算成本,因为大多数控制组件都是使用具有有限功率和计算能力的便携式嵌入式系统构建的。在这个项目中,
方法
该项目旨在在 Sony Spresense 微控制器上部署一个深度神经网络,用于实时仿生手臂控制。我们使用 2D 卷积神经网络 (CNN) 作为 EMG 模式识别算法,该算法在部署到 Sony Spresense 之前已经过微调和压缩。我们的 EMG 数据收集基于 Myo Armband 和 ESP32 Board。这个项目有4个主要部分:
- EMG 信号采集和预处理
- 离线 CNN 模型训练和微调
- 设备端 CNN 模型部署和推理
- 实时仿生手臂控制
系统概述:图 2 显示了系统概述。我们首先通过蓝牙将 Myo Armband 与 ESP32 连接起来。其次,Myo Armband 可以获取 EMG 数据,同时 ESP32 通过 UART 串行通信向 Sony Spresense 传输信号。第三,Sony Spresense 对传输的 EMG 数据进行预处理,并实时进行手势预测。最后,预测的手势被转换为 PWM 信号以控制仿生手臂,其中 3 个伺服系统控制不同的手指。
在接下来的会议中,我们将详细分析每个部分。
EMG模式识别: EMG信号是人体皮肤表面肌肉收缩过程中产生的电信号的记录。EMG 信号模式识别是非侵入式神经机接口应用的威廉希尔官方网站 核心。如图 3 所示,8 个传感器 Myo Armband 将用于收集人体皮肤的 EMG 信号。然后,收集的信号可以输入深度学习(例如,CNN)或机器学习(例如,LDA、SVM)模型以执行模式识别,返回不同手势的输出概率。与需要特征工程的传统机器学习相比,深度学习在特征提取方面表现出色,例如从 EMG 信号中获取平均绝对值 (MAV) 或过零 (ZC)。
在这个项目中,我们利用 CNN 模型直接学习原始 EMG 特征,而无需任何额外的特征工程。但是,深度学习模型可能会比机器学习模型引入额外的计算开销。如图 3 所示,CNN 模型通常由高性能 GPU 进行预训练,计算成本高、内存占用大、能耗高。将它们部署到计算资源有限的低功耗设备上非常具有挑战性。为了在 Sony Spresense 上实现实时接口,我们将利用 TensorFlow Lite 来加速 CNN 模型。
EMG 数据预处理:如图 5 所示,Myo Armband 包括 8 个传感器/通道,因此每个 EMG 阵列为 1x8(每个通道一个 EMG 样本)。为了从原始 EMG 信号中提取空间域特征,我们结合了 32 个 EMG 样本来创建一个 EMG 窗口(8×32)。在 EMG 信号收集过程中,我们以 16 步长重叠 EMG 窗口,以便下一个 EMG 窗口包含来自先前 EMG 窗口的最后 16 个样本,以便进一步结合时域特征。此外,原始 EMG 值是一个 0 - 255 范围内的 8 位无符号数,因此如果 EMG 值大于 127,我们通过将值减去 256 将 EMG 值从无符号数更改为有符号数。最后,我们将有一个给定从 NinaPro DB5 数据集获得的 7 个手势,从 EMG 样本计算的 8 个通道中的每个通道的一组平均值和标准偏差。
深度神经网络模型与训练:如图 6 所示,我们的 CNN 模型由 2 个卷积层和一个全连接层组成。第一个卷积层由 32 个滤波器组成,然后是 PReLU 激活函数、用于加速模型训练的批量归一化、用于对抗过度拟合的空间 2D dropout 和最大池化。第二个卷积层与第一层相同,只是它使用 64 个过滤器而不是 32 个。最后,我们将以 N 个神经元全连接层结束,这取决于 N 个手势进行预测。在我们的项目中,我们利用来自名为 NinaPro DB5 [3] 的大型开源 EMG 数据集的 7 个手势来训练我们的模型。然后,我们使用从 Myo 臂章收集的实时 EMG 信号对其进行微调,将模型学习从较大的数据集推广到更具体的下游数据集。
3D - 打印仿生手臂:如图 7 所示,我们的仿生手臂是基于 Mission ARM JAPAN 非营利组织 [2] 的名为 HACKberry hand 的开源社区项目进行 3D 打印的。
该仿生手臂使用了 3 个伺服系统。SG90 伺服控制中指、无名指和小指。平行伺服控制食指。第二个SG90控制拇指。在我们的项目范围内,我们利用仿生手臂执行 4 个手势:休息手势、竖起大拇指手势、握拳手势和确定手势。
未来工作:在这个项目中,我们成功地将CNN模型部署在Sony Spresense板上,实现了实时仿生控制。未来,我们将通过以下方法进一步增强我们的系统。首先,中间的 ESP32 导致延迟。通过将蓝牙直接部署到 Sony Spresense 上,我们可以最大限度地减少这种情况。其次,我们可以通过使用 RNN 等其他架构来提高模型的鲁棒性。此外,我们可以使用 GAN 增强噪声 EMG 数据。第三,我们可以利用更高维度的 EMG 采集传感器,嵌入更多的特征。(比如 192 个频道而不是 8 个)最后,我们还可以通过在 Sony Spresense 上实现设备上的培训来改善我们的用户体验。
- 使用EMG信号控制机械臂
- 使用EMG的机械手控制
- arduino nano作为控制器的仿生手
- 基于R-CNN和PRN的超声图像肿瘤自动识别 18次下载
- CNN和DBN在肺结节影像分类识别的对比分析 10次下载
- 改进胶囊网络优化分成卷积的亚健康识别 7次下载
- 基于多尺度CNN的交通道路标识识别模型 4次下载
- 基于改进YOLOv的静态手势实时识别方法 9次下载
- 基于改进CNN网络与集成学习的人脸识别算法 6次下载
- 基于可变形CNN的数显仪表分割与识别方法 10次下载
- 仿生手臂的设计与实现英文文件下载 0次下载
- 融合双层多头自注意力与CNN的回归模型 6次下载
- 一种基于多通道极深CNN的图像超分辨算法 10次下载
- Arduino与树莓派打造Chatbot语音控制机器人手臂 30次下载
- CNN图像识别的路径搜索设计方案 16次下载
- cnn常用的几个模型有哪些 272次阅读
- CNN的定义和优势 483次阅读
- 如何利用CNN实现图像识别 412次阅读
- 基于CNN-LSTM网络的电力负荷预测 3252次阅读
- 如何创建FPGA控制的机器人手臂 899次阅读
- 传感器概述及分类 光电编码器电路原理及分类 851次阅读
- 通过红外对管进行手势识别控制的LED灯设计 3598次阅读
- 采用单片机和CPLD器件实现仿人手臂形假肢控制系统的设计 1074次阅读
- 实现水下波动仿生推进器的多电机独立控制设计方案 1268次阅读
- 手把手教你操作Faster R-CNN和Mask R-CNN 1.3w次阅读
- 深度学习进军太空领域——卫星实时图像识别 5059次阅读
- 基于光谱图利用CNN进行音频处理效果不佳的原因 5355次阅读
- 全卷积网络FCN是什么?CNN与FCN有什么关系? 1.1w次阅读
- 引入Mask R-CNN思想通过语义分割进行任意形状文本检测与识别 1.4w次阅读
- 基于FPGA的通用CNN加速设计 1w次阅读
下载排行
本周
- 1山景DSP芯片AP8248A2数据手册
- 1.06 MB | 532次下载 | 免费
- 2RK3399完整板原理图(支持平板,盒子VR)
- 3.28 MB | 339次下载 | 免费
- 3TC358743XBG评估板参考手册
- 1.36 MB | 330次下载 | 免费
- 4DFM软件使用教程
- 0.84 MB | 295次下载 | 免费
- 5元宇宙深度解析—未来的未来-风口还是泡沫
- 6.40 MB | 227次下载 | 免费
- 6迪文DGUS开发指南
- 31.67 MB | 194次下载 | 免费
- 7元宇宙底层硬件系列报告
- 13.42 MB | 182次下载 | 免费
- 8FP5207XR-G1中文应用手册
- 1.09 MB | 178次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 2555集成电路应用800例(新编版)
- 0.00 MB | 33566次下载 | 免费
- 3接口电路图大全
- 未知 | 30323次下载 | 免费
- 4开关电源设计实例指南
- 未知 | 21549次下载 | 免费
- 5电气工程师手册免费下载(新编第二版pdf电子书)
- 0.00 MB | 15349次下载 | 免费
- 6数字电路基础pdf(下载)
- 未知 | 13750次下载 | 免费
- 7电子制作实例集锦 下载
- 未知 | 8113次下载 | 免费
- 8《LED驱动电路设计》 温德尔著
- 0.00 MB | 6656次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935054次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537798次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420027次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191187次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183279次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138040次下载 | 免费
评论
查看更多