完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>
工程克隆首先我们将源码克隆下来:https://github.com/karpathy/llama2.c.git PC端测试在克隆完源码后,下载 TinyStories 数据集上训练的 15M 参数模型(大小约为 60MB):
然后编译并运行程序:
运行结果如下: 可以看到,大概每秒能够生成64个token,速度非常快。 交叉编译为了使程序能够在 OK3576 开发板上运行,需要对 我们需要将Makefile文件中的CC修改为我们之前设置过的交叉编译工具链。
确保
传输测试完成交叉编译后,在当前目录下会产生一个可执行文件 执行结果如下: 在开发板上执行 此外,在运行程序时,可以通过命令行参数来对模型的行为进行精细控制。以下是几个常用的参数及其作用:
通过这些参数,用户可以根据自己的需求调整模型的行为,从而获得更加符合预期的输出结果。 |
|
相关推荐
|
|
只有小组成员才能发言,加入小组>>
【飞凌嵌入式OK3588J-C开发板体验】OK3588J-C开发板开箱评测
3115 浏览 1 评论
[威廉希尔官方网站 ] 【飞凌嵌入式OK3576-C开发板体验】llama2.c部署
7309 浏览 0 评论
7775 浏览 0 评论
【飞凌嵌入式OK3576-C开发板体验】ssh连接与文件传输
7699 浏览 0 评论
9143 浏览 0 评论
6813浏览 2评论
11227浏览 1评论
5310浏览 1评论
85564浏览 1评论
682浏览 1评论
小黑屋| 手机版| Archiver| 电子发烧友 ( 湘ICP备2023018690号 )
GMT+8, 2024-12-23 08:37 , Processed in 0.373806 second(s), Total 37, Slave 30 queries .
Powered by 电子发烧友网
© 2015 bbs.elecfans.com
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 (电路图) 湘公网安备 43011202000918 号 电信与信息服务业务经营许可证:合字B2-20210191 工商网监 湘ICP备2023018690号