0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

源2.0适配FastChat框架,企业快速本地化部署大模型对话平台

全球TMT 来源:全球TMT 作者:全球TMT 2024-02-29 09:57 次阅读

北京2024年2月28日/美通社/ -- 近日,浪潮信息Yuan2.0大模型与FastChat框架完成全面适配,推出"企业快速本地化部署大模型对话平台"方案。该方案主要面向金融、法律、教育等领域,且有数据隐私保护需求的本地化部署场景。全面开放的对话模板功能,用户可基于FastChat平台,快速对不同参数规模的Yuan2.0基础模型进行训练、评估和应用,将Yuan2.0系列基础大模型部署于私有环境,快速部署企业级大模型应用。值得一提的是,FastChat提供标准API格式(OpenAI标准)的服务,因此,原本采用OpenAI API接口所构建的系列应用,用户无需修改代码,仅需更新API服务的接口地址,即可灵活、丝滑地切换为本地部署的Yuan2.0千亿参数模型。

wKgZomXfNLWAOYk6AAEJDzMrT0I739.jpg


当前,各类模型迭代更新飞快。简单且易用的对话模型框架成为了开发者解决本地化构建对话系统的一大利器。标准一致的工具和环境,可有效实现后端模型的平滑迁移,开发者能够在不改变原有代码的情况下,轻松适应新的模型和威廉希尔官方网站 要求。基于现成的框架和工具,依托繁荣的社区,进而有效地解决了威廉希尔官方网站 门槛高、开发流程复杂、知识共享困难、部署维护成本高以及数据安全等一系列难题,不仅可提高开发效率,也可为开发者带来了更多的便利和可能性。

FastChat是加州大学伯克利分校LM-SYS发布的创新型开源项目,Github Star数超31k。旨在为研究和开发人员提供一个易于使用、可扩展的平台,用于训练、服务和评估基于LLM的聊天机器人,大幅降低开发人员构建问答系统的门槛,实现知识管理平台的轻松部署与高效维护。其核心功能包括提供最先进的模型权重、训练代码和评估代码(例如Yuan2.0、Vicuna、FastChat-T5)以及带有Web UI和兼容OpenAI RESTful API的分布式多模型服务系统。Yuan2.0系列基础大模型作为首个全面开源的千亿参数模型,在编程、推理、逻辑等方面表现优异。通过Fastchat平台,企业级用户可一键启动标准API(OpenAI标准)服务,满足企业需求的定制化应用开发,轻松对接口进行封装,高效且安全地开发智能对话系统。在保证数据私密性和安全性的同时,极大地提升了模型本地化部署的效率、应用性能及稳定性。

基于FastChat使用Yuan2.0大模型,Step by Step实操教程

* 如下步骤以Yuan2-2B-Janus-hf模型为例:

Step 1: 安装FastChat

FastChat官方提供的两种安装方式--pip安装与源码安装

pip安装

官方提供的采用pip安装命令为pip3,建议大家采用python3.x,避免出现依赖包冲突。

pip3 install "fschat[model_worker,webui]"

源码安装

先从github上下载源码,在FastChat目录下执行如下命令:

git clonehttps://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip && pip3 install -e ".[model_worker,webui]"

Step 2 : 下载Yuan2.0系列基础大模型

模型 序列长度 下载链接
Yuan2.0-102B-hf 4K https://www.modelscope.cn/models/YuanLLM/Yuan2.0-102B-hf/summary
Yuan2.0-51B-hf 4K https://www.modelscope.cn/models/YuanLLM/Yuan2.0-51B-hf/summary
Yuan2.0-2B-hf 8K https://www.modelscope.cn/models/YuanLLM/Yuan2.0-2B-hf/summary
Yuan2-2B-Janus-hf 8K https://www.modelscope.cn/models/YuanLLM/Yuan2-2B-Janus-hf/summary

Step 3:启动FastChat推理服务

采用如下命令启动FastChat服务:

python3-m fastchat.serve.cli --model-path /mnt/models/Yuan2-2B-Janus-hf

至此,基于Yuan2.0基础大模型的FastChat推理服务就已启动完成了!服务启动后会进入客户端页面。客户端交互实例如下:

——————————————————

user: 你好。
assistant: 您好,有什么可以帮助您的吗?
user: 介绍一下北京。
assistant: 北京是中国的首都,位于华北平原中部。它是一个历史悠久、文化灿烂的城市,也是现代化与传统文化相结合的代表之一。北京拥有着丰富的历史遗产和文化景观,如紫禁城、天安门广场、颐和园、长城等。此外,北京还有许多现代建筑和创意艺术作品,如798艺术区、木鱼巷等。
user: 给我写一个快速排序算法
assistant: 快速排序是一种基于比较的排序算法,其时间复杂度为O(nlogn)。具体来说,快速排序通过选取一个基准元素,将数组分为两部分,使得左边的元素都小于基准元素,右边的元素都大于基准元素,然后递归地对左右两部分进行排序。
以下是一个简单的快速排序算法实现:
```python
def quick_sort(arr):
if len(arr) <= 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
```
这个算法的优点是它通常能够很好地处理小规模数据,而且它具有很好的可扩展性,可以轻松地处理不同规模的数据。但是,它也有一些缺点,例如它需要额外的空间来存储中间结果,并且它的最坏时间复杂度为O(n^2)。因此,在实际应用中,我们通常使用更高效的排序算法,如归并排序、插入排序等。
user: 能提供一些测试用例吗
assistant: 当然可以。以下是一些常见的测试用例:
```python
def test_quick_sort():
assert quick_sort([]) == []
assert quick_sort([1]) == [1]
assert quick_sort([3, 2, 1]) == [1, 2, 3]
assert quick_sort([5, 8, 2, 1, 6, 3, 4, 7, 9]) == [1, 2, 3, 4, 5, 6, 7, 8, 9]
assert quick_sort([9, 8, 7, 6, 5, 4, 3, 2, 1]) == [1, 2, 3, 4, 5, 6, 7, 8, 9]
```
这些测试用例包括了各种不同规模和不同顺序的输入数据。
user: 很好,你知道它的时间复杂度吗?
assistant: 是的,我知道它的时间复杂度为O(nlogn)。
user:

————————————————

同时,也可选用WebUI,需要先启动fastchat的controller和worker,在命令行输入如下命令即可启动:

python3 -m fastchat.serve.controller
python3 -m fastchat.serve.model_worker --model-path /mnt/models/Yuan2-2B-Janus-hf
python3-mfastchat.serve.gradio_web_server

启动完成后,默认会弹出WebUI页面,选择Yuan2.0模板即可与Yuan2.0大模型进行对话。以下为使用WebUI与Yuan2.0进行交互的示例:

代码实现

wKgaomXfNLaAToybAADRl_iTOTA579.jpg


测试用例

wKgZomXfNLaAZ2hrAADTArqP9lI354.jpg


上下文测试

wKgaomXfNLeAJX7EAACc8yBAqqw049.jpg


更多更新,请关注Github "源"交流专区,
前往GitHub搜索"IEIT-Yuan/Yuan-2.0"


审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大模型
    +关注

    关注

    2

    文章

    2427

    浏览量

    2648
收藏 人收藏

    评论

    相关推荐

    企业AI模型部署攻略

    当下,越来越多的企业开始探索和实施AI模型,以提升业务效率和竞争力。然而,AI模型部署并非易事,需要企业在多个层面进行细致的规划和准备。下
    的头像 发表于 12-23 10:31 65次阅读

    爱普生科技+本地化引领五大创新

    自八十年代进入中国以来,爱普生已在中国市场上深耕近四十年。从打印机到工业机器人,爱普生业务遍布多个领域,始终秉承“科技+本地化”的核心理念,与中国市场同频共振,不断深化与本土合作伙伴合作,推出“中国定制”产品及解决方案。
    的头像 发表于 12-12 16:31 170次阅读

    大语言模型开发框架是什么

    大语言模型开发框架是指用于训练、推理和部署大型语言模型的软件工具和库。下面,AI部落小编为您介绍大语言模型开发
    的头像 发表于 12-06 10:28 115次阅读

    Visual Components数字化工厂仿真软件本地化服务:亿达四方的优势

    的行业经验和卓越的服务能力,为用户提供了全方位的本地化服务,助力企业在智能制造领域取得成功。本文将深入探讨亿达四方在提供本地化服务方面的几大优势。 ​1. 多语言支持与定制培训 对于
    的头像 发表于 12-03 18:07 117次阅读

    自动AI开发平台功能介绍

    自动AI开发平台集成了多种算法、工具和框架,旨在帮助开发者更快速、高效地设计、训练、部署和管理AI模型
    的头像 发表于 11-14 09:29 207次阅读

    浪潮信息2.0模型与百度PaddleNLP全面适配

    近日,浪潮信息宣布其开源大模型2.0已全面适配百度PaddleNLP。这一举措标志着大模型开发生态正加速进化,为用户提供了更加便捷、高效的
    的头像 发表于 10-17 18:15 512次阅读

    传音的本地化实践:中国企业如何将“走出去”变成“融进去”

    传音本地化运营的模式逐渐成熟并自成一派,即使面对全球的冲击,传音也能游刃有余地开拓新市场、发力新领域。比如传音近年来致力于海外新兴市场移动生态的建立与持续运营,搭建了全新的商业与威廉希尔官方网站 中台:企业
    的头像 发表于 09-02 12:30 223次阅读
    传音的<b class='flag-5'>本地化</b>实践:中国<b class='flag-5'>企业</b>如何将“走出去”变成“融进去”

    对话aiXcoder总裁刘德欣:智能软件开发2.0时代,企业如何落地领域模型

    科技日新月异的今天,以大模型、Agent等为代表的人工智能威廉希尔官方网站 正引领各行各业的深刻变革。软件开发领域,一场由AI驱动的产业智能升级快速演变,进入智能软件开发
    的头像 发表于 08-16 09:40 306次阅读

    llm模型本地部署有用吗

    ,将这些模型部署本地环境可能会带来一些挑战和优势。 1. LLM模型概述 大型语言模型(LLM)通常是基于深度学习的神经网络
    的头像 发表于 07-09 10:14 489次阅读

    涂鸦HEDV本地化部署方案,助你低成本实现定制化开发!

    在日新月异的信息科技领域,软件定制需求不断增长,尤其在智慧校园、智慧园区和智慧能源等多元业务场景中,许多企业和组织对本地化部署的需求日益
    的头像 发表于 07-06 08:15 761次阅读
    涂鸦HEDV<b class='flag-5'>本地化</b><b class='flag-5'>部署</b>方案,助你低成本实现定制化开发!

    Qwen2强势来袭,AIBOX支持本地化部署

    AIBOX-1684X已适配Qwen2系列模型,并已集成在FireflyChat对话应用中,开机即可体验。模型基础更新预训练和指令微调模型Q
    的头像 发表于 06-27 08:02 1036次阅读
    Qwen2强势来袭,AIBOX支持<b class='flag-5'>本地化</b><b class='flag-5'>部署</b>

    【AIBOX上手指南】快速部署Llama3

    Firefly开源团队推出了Llama3部署包,提供简易且完善的部署教程,过程无需联网,简单快捷完成本地化部署。点击观看Llama3快速
    的头像 发表于 06-06 08:02 655次阅读
    【AIBOX上手指南】<b class='flag-5'>快速</b><b class='flag-5'>部署</b>Llama3

    浪潮信息发布“2.0-M32”开源大模型

    浪潮信息近日推出了革命性的“2.0-M32”开源大模型。该模型2.0系列基础上,引入了“基
    的头像 发表于 05-29 09:08 645次阅读

    浪潮信息&quot;2.0&quot;大模型YuanChat支持英特尔最新商用AI PC

    % 。企业可以在全新的英特尔商用客户端AI PC上,使用AI PC大模型效率工具"YuanChat"快速本地化部署和运行"
    的头像 发表于 03-27 22:52 499次阅读
    浪潮信息&quot;<b class='flag-5'>源</b><b class='flag-5'>2.0</b>&quot;大<b class='flag-5'>模型</b>YuanChat支持英特尔最新商用AI PC

    浪潮信息与英特尔合作推出一种大模型效率工具“YuanChat”

    3月26日,浪潮信息与英特尔正式宣布,浪潮信息“2.0系列基础大模型”已和最新的英特尔® 酷睿™ Ultra处理器平台完成适配
    的头像 发表于 03-27 13:50 629次阅读
    浪潮信息与英特尔合作推出一种大<b class='flag-5'>模型</b>效率工具“YuanChat”