0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

【AIBOX上手指南】快速部署Llama3

Firefly开源团队 2024-06-06 08:02 次阅读

Firefly开源团队推出了 Llama3 部署包,提供简易且完善的部署教程,过程无需联网,简单快捷完成本地化部署。

Step.1

准备部署包

进入 Firefly下载中心,下载 Llama3 部署包。

10b89482-2398-11ef-bd4a-92fbcf53809c.jpg

电脑上以管理员身份打开cmd:

10cbbf26-2398-11ef-bd4a-92fbcf53809c.jpg

执行 scp 命令传输部署包至AIBOX,并输入密码 linaro 获取访问权限。

scpllama3.tarlinaro@:~/

其中为模型实际的文件路径,AIBOX-BM1684X 的 IP 地址

例:scp C:\Users\Administrator\Downloads\llama3.tar linaro@192.168.150.1:~/

10decd46-2398-11ef-bd4a-92fbcf53809c.jpg

Step.2

部署Llama3

完成部署包的传输后,执行登录命令,连接 AIBOX,并输入密码 linaro。

sshlinaro@192.168.150.1

10e4ce3a-2398-11ef-bd4a-92fbcf53809c.jpg

执行以下解压命令,解压部署包,等到解压完成。

tar-xvf./llama3.tar

10eb1c0e-2398-11ef-bd4a-92fbcf53809c.jpg

解压完成后,执行部署脚本,等待部署完成。

./talk_to_llama3.sh

10f1cfc2-2398-11ef-bd4a-92fbcf53809c.jpg

使用Llama3

部署完成后,即可使用 Llama3。

11052d56-2398-11ef-bd4a-92fbcf53809c.jpg

Tip:部署过程中无需联网,首次部署 Llama3 需要花费较长时间进行相应的软件安装(3-5min),请耐心等待。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 软件
    +关注

    关注

    69

    文章

    4929

    浏览量

    87414
  • Firefly
    +关注

    关注

    2

    文章

    538

    浏览量

    7028
收藏 人收藏

    评论

    相关推荐

    AIBOX应用】通过 NVIDIA TensorRT 实现实时快速的语义分割

    NVIDIA系列AIBOXAIBOX-OrinNano和AIBOX-OrinNX均搭载NVIDIA原装JetsonOrin核心板模组,标配工业级全金属外壳,铝合金结构导热,顶盖外壳侧面采用条幅格栅
    的头像 发表于 12-18 16:33 125次阅读
    【<b class='flag-5'>AIBOX</b>应用】通过 NVIDIA TensorRT 实现实时<b class='flag-5'>快速</b>的语义分割

    Llama 3 的未来发展趋势

    在科技迅猛发展的今天,人工智能和机器学习已经成为推动社会进步的重要力量。Llama 3,作为一个划时代的产品,正以其独特的设计理念和卓越的性能,预示着未来科技的新方向。 一、Llama 3
    的头像 发表于 10-27 14:44 358次阅读

    Llama 3 适合的william hill官网

    在当今快速发展的威廉希尔官方网站 时代,各行各业都在寻求通过人工智能(AI)来提高效率、降低成本并增强用户体验。Llama 3,作为一个先进的AI平台,以其强大的数据处理能力和用户友好的界面,成为了众多行业的新宠
    的头像 发表于 10-27 14:28 225次阅读

    Llama 3 语言模型应用

    在人工智能领域,语言模型的发展一直是研究的热点。随着威廉希尔官方网站 的不断进步,我们见证了从简单的关键词匹配到复杂的上下文理解的转变。 一、Llama 3 语言模型的核心功能 上下文理解 :Llama 3
    的头像 发表于 10-27 14:15 264次阅读

    使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型

    前面我们分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日,Meta又发布了Llama3.2:一个多语言大型语言模型(LLMs)的集合。
    的头像 发表于 10-12 09:39 565次阅读
    使用OpenVINO 2024.4在算力魔方上<b class='flag-5'>部署</b><b class='flag-5'>Llama</b>-3.2-1B-Instruct模型

    [威廉希尔官方网站 ] 【飞凌嵌入式OK3576-C开发板体验】llama2.c部署

    MCU 上部署。以下是 llama2.c 在 OK3576 开发板上的部署步骤。 工程克隆 首先我们将源码克隆下来:https://github.com/karpathy/llama
    发表于 09-18 23:58

    源2.0-M32大模型发布量化版 运行显存仅需23GB 性能可媲美LLaMA3

    北京2024年8月23日 /美通社/ -- 近日,浪潮信息发布源2.0-M32大模型4bit和8bit量化版,性能比肩700亿参数的LLaMA3开源大模型。4bit量化版推理运行显存仅需
    的头像 发表于 08-25 22:06 304次阅读
    源2.0-M32大模型发布量化版 运行显存仅需23GB 性能可媲美<b class='flag-5'>LLaMA3</b>

    【算能RADXA微服务器试用体验】+ GPT语音与视觉交互:1,LLM部署

    。环境变量的配置,未来在具体项目中我们会再次提到。 下面我们正式开始项目。项目从输入到输出分别涉及了语音识别,图像识别,LLM,TTS这几个与AI相关的模块。先从最核心的LLM开始。 由于LLAMA3
    发表于 06-25 15:02

    AIBOX】装在小盒子的AI足够强吗?

    Firefly推出大语言模型本地部署的产品:AIBOX-1684X,目前已适配主流的大语言模型,包括ChatGLM3-6B,以下是ChatGLM3
    的头像 发表于 05-15 08:02 435次阅读
    【<b class='flag-5'>AIBOX</b>】装在小盒子的AI足够强吗?

    Optimum Intel三步完成Llama3在算力魔方的本地量化和部署

    Llama3 是Meta最新发布的开源大语言模型(LLM), 当前已开源8B和70B参数量的预训练模型权重,并支持指令微调。
    的头像 发表于 05-10 10:34 1046次阅读
    Optimum Intel三步完成<b class='flag-5'>Llama3</b>在算力魔方的本地量化和<b class='flag-5'>部署</b>

    使用OpenVINO™在你的本地设备上离线运行Llama3之快手指南

    在人工智能领域,大型语言模型(LLMs)的发展速度令人震惊。2024年4月18日,Meta正式开源了LLama系列的新一代大模型Llama3,在这一领域中树立了新的里程碑。
    的头像 发表于 04-26 09:42 838次阅读
    使用OpenVINO™在你的本地设备上离线运行<b class='flag-5'>Llama3</b>之快<b class='flag-5'>手指南</b>

    Llama 3 王者归来,Airbox 率先支持部署

    前天,智算领域迎来一则令人振奋的消息:Meta正式发布了备受期待的开源大模型——Llama3Llama3的卓越性能Meta表示,Llama3在多个关键基准测试中展现出卓越性能,超越了业内先进的同类
    的头像 发表于 04-22 08:33 637次阅读
    <b class='flag-5'>Llama</b> <b class='flag-5'>3</b> 王者归来,Airbox 率先支持<b class='flag-5'>部署</b>

    百度智能云国内首家支持Llama3全系列训练推理!

    4月18日,Meta 正式发布 Llama 3,包括8B 和 70B 参数的大模型,官方号称有史以来最强大的开源大模型。
    的头像 发表于 04-20 09:20 399次阅读
    百度智能云国内首家支持<b class='flag-5'>Llama3</b>全系列训练推理!

    Ubuntu系统快速上手

    Ubuntu系统快速上手概述和操作说明
    的头像 发表于 04-12 16:25 538次阅读
    Ubuntu系统<b class='flag-5'>快速</b><b class='flag-5'>上手</b>

    openai sora如何使用?Sora 使用指南快速上手

    OpenAI Sora 使用指南快速上手 欢迎使用OpenAI Sora,一款强大的人工智能视频生成工具。无论您是视频制作新手还是专业人士,本指南将帮助您
    的头像 发表于 02-20 11:19 4264次阅读