电子发烧友App

硬声App

0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示
创作
电子发烧友网>电子资料下载>电子资料>支持语音的可教学机器构建

支持语音的可教学机器构建

2023-06-29 | zip | 0.13 MB | 次下载 | 2积分

资料介绍

描述

介绍

在这个项目中,我构建了一个支持语音的可教学机器,它可以扫描书页或任何文本源中的文本并将其转换为上下文,用户可以提出与该上下文相关的问题,机器可以仅使用上下文进行回答。我一直想制造这种易于部署的边缘设备,并且可以轻松地针对给定的上下文进行训练,而无需任何互联网连接。

应用程序中使用的机器学习模型

使用了三种机器学习模型:

1. Tesseract OCR(基于 LSTM 的模型)

Tesseract 是一个 OCR 引擎,支持 unicode 并且能够开箱即用地识别 100 多种语言。它可以被训练来识别其他语言。

2. DeepSpeech(TensorFlow Lite 模型)

DeepSpeech 是一个开源的 Speech-To-Text 引擎,使用由机器学习威廉希尔官方网站 训练的模型,谷歌的 TensorFlow 使实现更容易。

3.伯特

BERT 是一种语言表示模型,代表 Transformers 的双向编码器表示。预训练的 BERT 模型只需一个额外的输出层即可进行微调,从而为各种任务(例如问答和语言推理)创建最先进的模型,而无需对特定于任务的架构进行大量修改。

前 2 个模型在 Raspberry Pi 4 上运行,最后一个模型在英特尔神经计算棒 2 上使用 OpenVINO 工具包运行。

安装说明

请按照下面给出的分步说明下载并安装应用程序的所有先决条件。假设已经安装了 Raspberry PI OS(以前称为 Raspbian),并且使用 raspi-config 实用程序启用了 SSH、音频、SPI、I2C 和摄像头。

安装适用于 Raspberry Pi OS 的 OpenVINO 工具包

$ sudo apt update

$ sudo apt install festival cmake wget python3-pip

$ mkdir -p ~/Downloads 

$ cd ~/Downloads

$ wget https://download.01.org/opencv/2020/openvinotoolkit/2020.4/l_openvino_toolkit_runtime_raspbian_p_2020.4.287.tgz

$ sudo mkdir -p /opt/intel/openvino

$ sudo tar -xf  l_openvino_toolkit_runtime_raspbian_p_2020.4.287.tgz --strip 1 -C /opt/intel/openvino

设置 USB 规则

$ sudo usermod -a -G users "$(whoami)"

现在注销并重新登录。

初始化 OpenVINO 环境

$ source /opt/intel/openvino/bin/setupvars.sh

为英特尔神经计算棒 2 安装 USB 规则

$ sh /opt/intel/openvino/install_dependencies/install_NCS_udev_rules.sh

现在插入英特尔神经计算棒 2。

Festival(语音合成系统框架)配置

Replace the following line in the /etc/festival.scm:  
(Parameter.set 'Audio_Command "aplay -q -c 1 -t raw -f s16 -r $SR $FILE")
with the line below:
(Parameter.set 'Audio_Command "aplay -Dhw:0 -q -c 1 -t raw -f s16 -r $SR $FILE")

为 Respeaker 2-mics PI HAT 安装驱动程序

$ cd ~
$ git clone https://github.com/HinTak/seeed-voicecard
$ cd seeed-voicecard
$ sudo ./install.sh
$ sudo reboot

下载应用程序存储库

$ cd ~ 
$ git clone https://github.com/metanav/TeachableMachine

下载 BERT 模型 OpenVINO 中间表示文件

$ cd ~/TeachableMachine

$ mkdir models

$ cd models 

$ wget https://download.01.org/opencv/2020/openvinotoolkit/2020.4/open_model_zoo/models_bin/3/bert-small-uncased-whole-word-masking-squad-0001/FP16/bert-small-uncased-whole-word-masking-squad-0001.bin

$ wget https://download.01.org/opencv/2020/openvinotoolkit/2020.4/open_model_zoo/models_bin/3/bert-small-uncased-whole-word-masking-squad-0001/FP16/bert-small-uncased-whole-word-masking-squad-0001.xml

下载 DeepSpeech 模型文件

$ cd ~/TeachableMachine/models 

$ wget https://github.com/mozilla/DeepSpeech/releases/download/v0.8.2/deepspeech-0.8.2-models.tflite

$ wget https://github.com/mozilla/DeepSpeech/releases/download/v0.8.2/deepspeech-0.8.2-models.scorer

运行应用程序

$ cd ~/TeachableMachine
$ pip3 install -r requirements.txt
$ python3 main.py

它是如何工作的?

Raspberry Pi 4 连接到 ReSpeaker 2-mics PI HAT,用于使用板载麦克风接收语音。Raspberry Pi 摄像头模块使用 CSI2 连接器连接到 Raspberry Pi 4,该连接器用于扫描书中的文本。ReSpeaker 2-mics PI HAT 上有一个按钮,用于触发扫描过程的开始。按下按钮后,用户必须在 5 秒内立即向相机显示文本(书页或带有一些有意义的英文文本的论文,例如故事段落或维基百科条目)。使用 Tesseract OCR 应用程序捕获书页图像并将其转换为文本。捕获的文本用作 BERT 模型的上下文,用于回答问题。机器要求用户提问。用户提出问题并使用 DeepSpeech 应用程序将问题语音转换为文本。转换后的问题文本被输入到在英特尔神经计算棒 2 上运行的 BERT 模型中,该模型通过置信度分数推断出答案。使用 Festival 应用程序将最佳答案文本转换为语音,该应用程序在连接到 Raspberry Pi 4 音频输出(3.5 毫米插孔)的扬声器上播放。请参阅连接图的原理图部分并查看下面的流程图以更好地了解应用流程。使用 Festival 应用程序将最佳答案文本转换为语音,该应用程序在连接到 Raspberry Pi 4 音频输出(3.5 毫米插孔)的扬声器上播放。请参阅连接图的原理图部分并查看下面的流程图以更好地了解应用流程。使用 Festival 应用程序将最佳答案文本转换为语音,该应用程序在连接到 Raspberry Pi 4 音频输出(3.5 毫米插孔)的扬声器上播放。请参阅连接图的原理图部分并查看下面的流程图以更好地了解应用流程。

流程图

poYBAGN7JDaAd5VEAACp6VBR8Ps291.jpg
 

 

 


下载该资料的人也在下载 下载该资料的人还在阅读
更多 >

评论

查看更多

下载排行

本周

  1. 1山景DSP芯片AP8248A2数据手册
  2. 1.06 MB  |  532次下载  |  免费
  3. 2RK3399完整板原理图(支持平板,盒子VR)
  4. 3.28 MB  |  339次下载  |  免费
  5. 3TC358743XBG评估板参考手册
  6. 1.36 MB  |  330次下载  |  免费
  7. 4DFM软件使用教程
  8. 0.84 MB  |  295次下载  |  免费
  9. 5元宇宙深度解析—未来的未来-风口还是泡沫
  10. 6.40 MB  |  227次下载  |  免费
  11. 6迪文DGUS开发指南
  12. 31.67 MB  |  194次下载  |  免费
  13. 7元宇宙底层硬件系列报告
  14. 13.42 MB  |  182次下载  |  免费
  15. 8FP5207XR-G1中文应用手册
  16. 1.09 MB  |  178次下载  |  免费

本月

  1. 1OrCAD10.5下载OrCAD10.5中文版软件
  2. 0.00 MB  |  234315次下载  |  免费
  3. 2555集成电路应用800例(新编版)
  4. 0.00 MB  |  33566次下载  |  免费
  5. 3接口电路图大全
  6. 未知  |  30323次下载  |  免费
  7. 4开关电源设计实例指南
  8. 未知  |  21549次下载  |  免费
  9. 5电气工程师手册免费下载(新编第二版pdf电子书)
  10. 0.00 MB  |  15349次下载  |  免费
  11. 6数字电路基础pdf(下载)
  12. 未知  |  13750次下载  |  免费
  13. 7电子制作实例集锦 下载
  14. 未知  |  8113次下载  |  免费
  15. 8《LED驱动电路设计》 温德尔著
  16. 0.00 MB  |  6656次下载  |  免费

总榜

  1. 1matlab软件下载入口
  2. 未知  |  935054次下载  |  免费
  3. 2protel99se软件下载(可英文版转中文版)
  4. 78.1 MB  |  537798次下载  |  免费
  5. 3MATLAB 7.1 下载 (含软件介绍)
  6. 未知  |  420027次下载  |  免费
  7. 4OrCAD10.5下载OrCAD10.5中文版软件
  8. 0.00 MB  |  234315次下载  |  免费
  9. 5Altium DXP2002下载入口
  10. 未知  |  233046次下载  |  免费
  11. 6电路仿真软件multisim 10.0免费下载
  12. 340992  |  191187次下载  |  免费
  13. 7十天学会AVR单片机与C语言视频教程 下载
  14. 158M  |  183279次下载  |  免费
  15. 8proe5.0野火版下载(中文版免费下载)
  16. 未知  |  138040次下载  |  免费