英伟达最新推出部署边缘设备的语音识别威廉希尔官方网站

（文章来源：机器之心）

英伟达近日一篇论文为语音识别威廉希尔官方网站 在边缘设备上的部署带来了福音，其新提出的解码器方法即使在边缘嵌入式 GPU 上也能高效高速地执行。而且这种方法不仅适用于低端硬件，而且也能为数据中心带来显著的效率提升，从而能够识别更多并行的在线音频流。该方法的早期版本已开源。

这篇论文提出了一种经过优化的加权式有限状态变换器（WFST/ weighted finite-state transducer）解码器，能够使用图像处理单元（GPU）实现对音频数据的在线流处理和离线批处理。这种解码器能高效利用内存、输入/输出带宽，并为最大化并行使用了一种全新的维特比（Viterbi）实现。内存节省让该解码器能比之前处理更大的图，同时还能支持更多数量的连续流。对 lattice 段进行 GPU 预处理能让中间 lattice 结果在流推理期间返回给请求者。

总体而言，相比于单核 CPU 解码，新提出的改进能实现高达 240 倍的提速，并且解码速度也比当前最佳的 GPU 解码器快 40 倍，同时返回的结果表现相当。从大型数据中心服务器到低功耗边缘设备，该架构可在各种层级的硬件上部署生产级模型。

深度学习研究推动了自动语音识别（ASR）威廉希尔官方网站 的大发展，质量的显著提升让这项威廉希尔官方网站 在许多人机交互用例中得到了实际应用，「流 ASR 即服务（streaming ASR as a service）」的需求也随之水涨船高。通常来说，如要满足这一需求，将需要在数据中心配置大量商用服务器。由于很多用例对时间延迟有很严格的要求，因此人们正在大力投入，意图加快数据中心中模型的推理速度；当然也有研究正致力于实现边缘推理，包括在低功耗设备上实现推理。

在这项研究中，研究者提出了一种全新的加权式有限状态变换器（WFST）实现，其可使用 GPU 和英伟达的 CUDA 编程语言为语音识别任务提供高速解码。他们将该解码器设计成可直接替代现有解码器，而无需修改语言或声学模型。其设计目标是尽力实现最大的灵活性，能支持多路同时音频流的在线识别和 lattice 生成。

研究者还严格限制了该解码器的内存使用，从而可确保 GPU 内存能为大型语言模型和共同常驻的声学模型留有足够的空间。最后，从低功耗嵌入式 GPU 到单个服务器中运行的多个数据中心级 GPU，该算法都能有效地运行。

并行式 WFST 解码器通常会遵照串行解码器中的典型操作顺序：对于声学模型（AM）后验的每一帧，该解码器可基于帧值处理发射弧（标签非零的弧），再处理任何非发射弧链，最后执行剪枝。新提出的算法利用了两个类型不同的异步 CUDA 流：一个负责执行计算核，另一个负责执行非阻塞的设备到主机（D2H）lattice token 内存副本。使用第二个用于 D2H 副本的流，无需中止计算流程就能在在线编码期间返回中间结果。

研究者消除了很多常见的面向 CPU 的优化和限制，这种做法有时会妨害并行表现。具体来说，在扩展 token 时不测试新 token 是否唯一。将重复的 token 保留下来留待以后清理对正确性而言是足够的：少量额外的工作能减少对同步和原子操作的依赖。在 GPU 上，解码核的执行速度很快，其性能受限于核启动的延迟。通过调整解码器的结构，解码器能并行处理多路音频流，通过更长时间地运行这些核能够掩盖启动延迟。

为了同时处理多路音频流，研究者引入了两种不同的机制：干道（channel）和小道（lane）。小道大致等同于神经网络中的批大小，代表了正被解码的话语或流的集合。干道则能为有待继续处理（由于缺少音频或已计算后验）的话语维持状态。这种随时准备 GPU 工作的线程化解码器负责将干道（因为它们已准备就绪）多路复用到小道（因为它们可用）上。这种方案能根据模型和代表性数据与 GPU 的搭配而轻松地调整：增加小道的数量直到收益开始下降，并让通道的数量匹配所测得的吞吐量/xRTF。