0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何在英特尔® 平台上实现高效的大语言模型训练后量化

英特尔中国 来源:未知 2023-07-14 20:10 次阅读

本文介绍了可提升大语言模型的训练后量化表现的增强型 SmoothQuant 威廉希尔官方网站 ,说明了这项威廉希尔官方网站 的用法,并证明了其在准确率方面的优势。此方法已整合至英特尔Neural Compressor1中。英特尔 Neural Compressor 是一个包含量化、剪枝(稀疏性)、蒸馏(知识提炼)和神经架构搜索等多种常用模型压缩威廉希尔官方网站 的开源 Python 库。目前,诸如 TensorFlow英特尔Extension for TensorFlow2、PyTorch、英特尔Extension for PyTorch3、ONNX Runtime 和 MXNet等主流框架,都能与之兼容。

英特尔 Neural Compressor已经支持多款英特尔架构的硬件,比如英特尔至强可扩展处理器4英特尔至强CPU Max 系列5英特尔数据中心GPU Flex 系列6英特尔数据中心 GPU Max 系列7。本文涉及的实验基于第四代英特至强可扩展处理器8进行。

ccecbb12-223e-11ee-962d-dac502259ad0.gif  大语言模型

大语言模型 (Large Language Model, LLM) 需基于海量数据集进行训练,可能拥有数十亿权重参数。其先进的网络结构和庞大的参数量,使它们能够很好地应对自然语言本身的复杂性。完成训练后的大语言模型,可针对各种下游的自然语言处理 (NLP) 和自然语言生成 (NLG) 任务进行调优,让其更适合对话式聊天机器人(如 ChatGPT)、机器翻译、文本分类、欺诈检测和情感分析等任务场景。

ccecbb12-223e-11ee-962d-dac502259ad0.gif  大语言模型部署面临的挑战

大语言模型在执行自然语言处理和自然语言生成任务方面表现出色,但其训练和部署颇为复杂,主要面临以下挑战:

AI 与内存墙9瓶颈问题:算力每两年提高 3.1 倍,内存带宽却只提高 1.4 倍;

网络带宽挑战:训练大语言模型需要采用分布式系统,这对网络带宽提出了较高要求;

系统资源有限:训练后的模型往往会部署在算力和内存资源均有限的系统上。

因此,采用训练后量化的方法来为大语言模型瘦身,对于实现低时延推理至关重要。 ccecbb12-223e-11ee-962d-dac502259ad0.gif  大语言模型的量化

量化是一种常见的压缩操作,可以减少模型占用的内存空间,提高推理性能。采用量化方法可以降低大语言模型部署的难度。具体来说,量化是将浮点矩阵转换为整数矩阵:

cd413ca0-223e-11ee-962d-dac502259ad0.png

其中 X_fp32、S 和 Z 分别为输入矩阵、比例因子和整数零点。有关每通道 (per-channel) 量化策略虽然可能会减少量化损失,但不能用于激活值量化的原因,请参看 SmoothQuant 相关文档10。不过,激活值量化误差损失却是导致模型量化准确率下降的重要因素。为此,人们提出了很多方法来降低激活值量化损失,例如:SPIQ11OutlierSuppression12SmoothQuant13。这三种方法思路相似,即把激活值量化的难度转移到权重量化上,只是三者在转移难度的多少上有所不同。ccecbb12-223e-11ee-962d-dac502259ad0.gif  增强型 SmoothQuant SmoothQuant 引入了一个超参数 α 作为平滑因子来计算每个通道的量化比例因子,并平衡激活值和权重的量化难度。

cd6edc14-223e-11ee-962d-dac502259ad0.png

其中 j 是输入通道索引

cd856470-223e-11ee-962d-dac502259ad0.png

对于OPT 和 BLOOM 等大多数模型来说,α=0.5 是一个能够较好实现权重和激活值量化难度分割的平衡值。模型的激活异常值越大,就越需要使用更大的 α 值来将更多的量化难度转移到权重上。原始的 SmoothQuant 旨在通过针对整个模型使用一个固定值 α 来分割权重和激活值的量化难度。然而,由于激活异常值的分布不仅在不同模型之间存在差异,而且在同一模型的不同层之间也不尽相同,因此,本文推荐使用英特尔 Neural Compressor 的自动调优能力,逐层获取最佳 α 值。

相关方法包括以下五个主要步骤(伪代码如下所示):

  1. 通过特殊的回调函数 register_forward_hook 捕获 (hook) 模型各层的输入和输出值。

  2. 根据用户定义的 α 范围和步长生成一个 α 值列表。

  3. 根据给定的 α 值重新计算平滑因子并调整参数(权重值和激活值)。

  4. 对权重执行每通道量化与反量化 (quantization_dequantization),对输入值执行每张量 (per-tensor) 量化与反量化,以预测与给定 α 值对应的每层输出值。

  5. 计算相对实际输出值的均方损失,将调整后的参数恢复回来,并保存每层的最佳 α 值。

cdad2884-223e-11ee-962d-dac502259ad0.png

本文提出的方法支持用多个标准(如最小值、最大值和平均值)来确定 Transformer 块的输入层归一化 (LayerNorm) 操作的 α 值。实验发现,将 α 范围设为 [0.3, 0.7],步长设为 0.05,对大多数模型来说都能达到很好的平衡。 这一方法有两个显著特点:一是全自动化,二是比原始方法支持的融合模式多。 下图提供了在 BLOOM-1b7 模型上执行 SmoothQuant α 值自动调优的样例代码: cdd25b40-223e-11ee-962d-dac502259ad0.png

启用增强型 SmoothQuant 的样例代码

用户只需传递一个模型名称 (model_name) 和一个数据加载器。值得注意的是,模型分析主要依靠的是 Torch JIT。用户可以在加载Hugging Face 模型14时将 torchscript 设置为 True,或将 return_dict 设置为 False。更多信息请参阅英特尔Neural Compressor 文档10ccecbb12-223e-11ee-962d-dac502259ad0.gif  

结果

本文提出的增强型 SmoothQuant 的主要优势在于提高了准确率。 经过对多种主流大语言模型的评估,具备自动调优能力的 INT8 SmoothQuant 最后一个词元 (last-token) 的预测准确率要高于原始 INT8 SmoothQuant 和 FP32 基线方法。详见下图: ce15bc50-223e-11ee-962d-dac502259ad0.png

FP32 基线方法、INT8(启用和不启用 SmoothQuant)以及 INT8(启用本文提出的增强型 SmoothQuant)的准确率对比

从上图可以看出,在 OPT-1.3b 和 BLOOM-1b7 模型上,本文提出的增强型 SmoothQuant 的准确率比默认的 SmoothQuant 分别高 5.4% 和 1.6%。量化后的模型也缩小到 FP32 模型的四分之一,大大减少了内存占用空间,从而有效地提升大模型在英特尔平台上的推理性能。 更全面的结果请见 GitHub 存储库10。同时,也欢迎您创建拉取请求或就 GitHub 问题15发表评论。期待听到您的反馈意见和建议。 作者

他们都在从事模型量化
及压缩的研究与优化工作

沈海豪英特尔公司人工智能资深架构师 程文华英特尔公司人工智能资深软件工程师 陆崟彤、何欣、郭恒、王畅、王梦妮英特尔公司人工智能软件工程师

注释:

本文主要介绍在英特尔平台上提升大语言模型的训练后量化表现的增强型SmoothQuant威廉希尔官方网站 ,说明了这项威廉希尔官方网站 的用法,并证明了其在准确率方面的优势。本文中列出的链接和资源。需要说明的是,将SmoothQuant适配到英特尔平台并实现它在英特尔平台上的增强,是英特尔的原创

1.英特尔Neural Compressor

https://www.intel.cn/content/www/cn/zh/developer/tools/oneapi/neural-compressor.html2.英特尔Extension for TensorFlowhttps://www.intel.cn/content/www/cn/zh/developer/tools/oneapi/optimization-for-tensorflow.html3.英特尔Extension for PyTorchhttps://www.intel.cn/content/www/cn/zh/developer/tools/oneapi/optimization-for-pytorch.html4.英特尔至强可扩展处理器https://www.intel.cn/content/www/cn/zh/products/details/processors/xeon/scalable.html5.英特尔至强CPU Max 系列https://www.intel.cn/content/www/cn/zh/products/details/processors/xeon/max-series.html6.英特尔数据中心 GPU Flex 系列https://www.intel.cn/content/www/cn/zh/products/details/discrete-gpus/data-center-gpu/flex-series.html7.英特尔数据中心 GPU Max 系列https://www.intel.com/content/www/us/en/products/details/discrete-gpus/data-center-gpu/max-series.html8. 第四代英特尔至强可扩展处理器https://www.intel.cn/content/www/cn/zh/events/accelerate-with-xeon.html9. AI 与内存墙https://medium.com/riselab/ai-and-memory-wall-2cb4265cb0b810. SmoothQuant 相关文档 /英特尔Neural Compressor 文档 / GitHub 存储库https://github.com/intel/neural-compressor/blob/master/docs/source/smooth_quant.md11. SPIQhttps://arxiv.org/abs/2203.1464212. Outlier Suppressionhttps://arxiv.org/abs/2209.1332513. SmoothQuanthttps://arxiv.org/abs/2211.1043814. Hugging Face 模型https://huggingface.co/models15. GitHub 问题https://github.com/intel/neural-compressor/issues

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    61

    文章

    9957

    浏览量

    171716
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10858

    浏览量

    211671

原文标题:如何在英特尔® 平台上实现高效的大语言模型训练后量化

文章出处:【微信号:英特尔中国,微信公众号:英特尔中国】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用英特尔AI PC为YOLO模型训练加速

    之后,情况有了新的变化,PyTorch2.5正式开始支持英特尔显卡,也就是说,此后我们能够借助英特尔 锐炫 显卡来进行模型训练了。
    的头像 发表于 12-09 16:14 268次阅读
    使用<b class='flag-5'>英特尔</b>AI PC为YOLO<b class='flag-5'>模型</b><b class='flag-5'>训练</b>加速

    英特尔助力百度智能云千帆大模型平台加速LLM推理

    “大模型在各行业的广泛应用驱动了新一轮产业革命,也凸显了在AI算力方面的瓶颈。通过携手英特尔释放英特尔 至强 可扩展处理器的算力潜力,我们为用户提供了高性能、灵活、经济的算力基础设施方案,结合千帆
    的头像 发表于 11-25 16:59 408次阅读
    <b class='flag-5'>英特尔</b>助力百度智能云千帆大<b class='flag-5'>模型</b><b class='flag-5'>平台</b>加速LLM推理

    使用PyTorch在英特尔独立显卡上训练模型

    《PyTorch 2.5重磅更新:性能优化+新特性》中的一个新特性就是:正式支持在英特尔独立显卡上训练模型
    的头像 发表于 11-01 14:21 408次阅读
    使用PyTorch在<b class='flag-5'>英特尔</b>独立显卡上<b class='flag-5'>训练</b><b class='flag-5'>模型</b>

    英特尔IT的发展现状和创新动向

    AI大模型的爆发,客观上给IT的发展带来了巨大的机会。作为把IT发展上升为战略高度的英特尔,自然在推动IT发展中注入了强劲动力。英特尔IT不仅专注于创新、AI和优化,以及英特尔员工、最
    的头像 发表于 08-16 15:22 555次阅读

    英特尔是如何实现玻璃基板的?

    在今年9月,英特尔宣布率先推出用于下一代先进封装的玻璃基板,并计划在未来几年内向市场提供完整的解决方案,从而使单个封装内的晶体管数量不断增加,继续推动摩尔定律,满足以数据为中心的应用的算力需求
    的头像 发表于 07-22 16:37 319次阅读

    已有超过500款AI模型英特尔酷睿Ultra处理器上得以优化运行

    近日,英特尔宣布在全新英特尔 酷睿 Ultra处理器上,有超过500款AI模型得以优化运行。
    的头像 发表于 05-11 09:31 716次阅读

    【大语言模型:原理与工程实践】大语言模型的预训练

    语言模型的核心特点在于其庞大的参数量,这赋予了模型强大的学习容量,使其无需依赖微调即可适应各种下游任务,而更倾向于培养通用的处理能力。然而,随着学习容量的增加,对预训练数据的需求也相
    发表于 05-07 17:10

    英特尔AI产品助力其运行Meta新一代大语言模型Meta Llama 3

    英特尔丰富的AI产品——面向数据中心的至强处理器,边缘处理器及AI PC等产品为开发者提供最新的优化,助力其运行Meta新一代大语言模型Meta Llama 3
    的头像 发表于 04-28 11:16 631次阅读

    高通支持Meta Llama 3大语言模型在骁龙旗舰平台上实现终端侧执行

    高通和Meta合作优化Meta Llama 3大语言模型,支持在未来的骁龙旗舰平台上实现终端侧执行。
    的头像 发表于 04-20 09:13 507次阅读

    浪潮信息与英特尔合作推出一种大模型效率工具“YuanChat”

    3月26日,浪潮信息与英特尔正式宣布,浪潮信息“源2.0系列基础大模型”已和最新的英特尔® 酷睿™ Ultra处理器平台完成适配,本地推理速度提升100%。
    的头像 发表于 03-27 13:50 632次阅读
    浪潮信息与<b class='flag-5'>英特尔</b>合作推出一种大<b class='flag-5'>模型</b>效率工具“YuanChat”

    基于英特尔哪吒开发者套件平台来快速部署OpenVINO Java实战

    OpenVINO 工具套件基于OneAPI开发,可以加快高性能计算机视觉和深度学习应用开发速度的工具套件,适用于从边缘到云的各种英特尔计算平台上
    的头像 发表于 03-21 18:24 1482次阅读
    基于<b class='flag-5'>英特尔</b>哪吒开发者套件<b class='flag-5'>平台</b>来快速部署OpenVINO Java实战

    英特尔酷睿Ultra通过全新英特尔vPro平台将AI PC惠及企业

    近日,英特尔在2024年世界移动通信大会(MWC 2024)上宣布,全新英特尔®vPro®平台将AI PC的优势惠及商用客户。
    的头像 发表于 03-18 15:07 515次阅读

    英特尔推出全新vPro平台,将AI PC的优势延伸至商用领域

    在2024年世界移动通信大会(MWC 2024)上,英特尔宣布了其全新英特尔®vPro®平台的发布,旨在将AI PC的先进功能带给商用客户。这一平台结合了内置
    的头像 发表于 03-03 15:47 1164次阅读

    使用基于Transformers的API在CPU上实现LLM高效推理

    英特尔 Extension for Transformers是英特尔推出的一个创新工具包,可基于英特尔 架构平台,尤其是第四代英特尔 至强
    的头像 发表于 01-22 11:11 2607次阅读
    使用基于Transformers的API在CPU上<b class='flag-5'>实现</b>LLM<b class='flag-5'>高效</b>推理

    英特尔CPU部署Qwen 1.8B模型的过程

    本文介绍了在英特尔 13 代酷睿 CPU i5 - 13490F 设备上部署 Qwen 1.8B 模型的过程,你需要至少 16GB 内存的机器来完成这项任务,我们将使用英特尔的大模型
    的头像 发表于 01-12 10:28 2624次阅读