AI大模型引发算力变革，英特尔与百度联合发起飞桨+文心大模型硬件生态共创计划 ，加速大模型开发与落地

8月16日，英特尔在Wave Summit 2023深度学习开发者大会上，携第四代英特尔 至强可扩展处理器、英特尔oneAPI 和英特尔发行版OpenVINO等人工智能全栈软硬件解决方案，与众多人工智能专家学者和开发者深入交流，展示了英特尔AI的端到端能力。

同时，英特尔正式宣布与百度联合发起飞桨+文心大模型硬件生态共创计划，双方将共同推进在英特尔硬件上与飞桨+文心大模型的适配。此项计划将进一步拓展双方在大模型领域的合作，并构建更加高效、完整的AI生态，助力大模型的落地应用。

以大语言模型为代表的人工智能威廉希尔官方网站 在全球掀起科技和产业创新浪潮，加速产业升级和经济增长。我们也在积极探索英特尔数据中心GPU 和HabanaGaudi2 在大语言模型领域的合作机会，为AI行业创新提供新动力。

—英特尔中国区互联网行业总经理 胡凯

飞桨（PaddlePaddle）是百度自主研发的中国首个开源开放、功能丰富的产业级深度学习平台，是百度“芯片-框架-模型-应用”全栈威廉希尔官方网站 布局的重要组成部分，与芯片层深度适配与融合优化，并高效支撑以文心一言为代表的文心大模型的生产与应用。当前飞桨已凝聚800万开发者，广泛服务于金融、能源、制造、交通等领域。而文心大模型是百度产业级知识增强大模型，以“知识增强”为特色，引入知识图谱，将数据与知识融合，提升了学习效率及可解释性。

近年来，英特尔与百度飞桨已经进行了长期深入的威廉希尔官方网站 合作，并取得了丰硕成果。从2017年开始，不断拓展双方合作的深度和广度，双方成立了联合威廉希尔官方网站 团队实现英特尔AI加速软件栈与飞桨的持续集成，从硬件上积极适配全系列英特尔至强可扩展处理器AI产品。在软件层面，通过英特尔oneAPI 深度神经网络库 (英特尔oneDNN )调用英特尔AVX-512、英特尔深度学习加速（英特尔DL Boost ）、英特尔高级矩阵扩展AMX（英特尔Advanced Matrix Extensions）等底层加速威廉希尔官方网站 ，对百度飞桨中 NLP，CV 等各类别模型和框架进行了深度优化。例如百度ERNIE 3.0轻量化版本ERNIE-Tiny 模型，基于英特尔软硬件的联合优化，性能获得了显著的提升。

在大模型方面，英特尔计划推出针对至强可扩展处理器平台高度优化的大语言模型（LLM）推理加速引擎。该加速引擎兼容 Huggingface 等主流的模型格式，支持OPT，LLAMA，ChatGLM，Falcon 等多种主流大语言模型在FP16/BF16/INT8数据格式上的推理加速，可以充分利用至强可扩展处理器平台上的底层硬件加速进行加速，同时具有良好的跨节点扩展性，加速英特尔至强可扩展处理器与飞桨+文心大模型的适配，助力AI算力+大模型算法融合发展。

从 2022.1 版本发布开始，英特尔AI推理工具套件英特尔OpenVINO也正式直接支持飞桨模型，大大提升了模型在英特尔异构硬件上的推理性能和可用性。英特尔OpenVINO与百度飞桨围绕模型构建、优化及部署三个方面的合作不断深入，不仅帮助开发者减少中间环节，还能够让一些大模型在边缘部署成为可能，优化了整个的边缘推理和操作流程。目前，英特尔OpenVINO不仅能够支持飞桨模型在英特尔 CPU 和集成显卡上部署、在英特尔独立显卡上部署，还可以通过一行代码支持飞桨模型在多张独立显卡上部署。英特尔OpenVINO的最新版本也引入对PaddleSlim 量化后模型以及ERNIETiny 模型的直接支持，以实现在英特尔平台上更优异的性能表现。同时，英特尔OpenVINO与百度飞桨持续在社区生态发力，连续三年参与飞桨黑客马拉松，众多PR被合入OpenVINO主代码，并多次开展各类线上线下研讨会、训练营，与百度飞桨共建AI繁荣生态，为 AI 开发者提供全方位支持。

如今生成式人工智能浪潮迭起，大模型逐渐成为新一轮科技革命和产业变革的重要驱动力量，而超级AI算力+大模型算法是此次变革进程中的基础和核心。英特尔与飞桨+文心大模型将持续携手，聚生态之力，共同打造软硬一体的人工智能大模型平台，为人工智能尤其是大模型的快速发展和应用落地提供坚实的基础。

参考资料：

1 测试配置如下：测试配置 1：处理器：双路英特尔 至强 铂金 8358P 处理器，主频 2.6GHz，32 核心 64 线程，睿频开启；内存：512GB DRAM（16x32GB DDR4 3200 MT/s [2933 MT/s])；存储：INTEL_ SSDSC2KG960G8, INTEL_SSDSCKKB480G8；网络适配器：2x Ethernet Controller 10G X550T；BIOS 版本：06.00.01；操作系统版本：Ubuntu 20.04.4 LTS (Kernel：5.8.0-43-generic)；GCC 版本：8.4；英特尔 oneDNN 版本：2.6；工作负载：PaddlePaddle 2.3，Ernie-3.0 optimization for INT8；