0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

OpenVINO™ 生成式AI API最全备忘录和调用范例

jf_23871869 来源:jf_23871869 作者:jf_23871869 2024-12-12 13:17 次阅读

人工智能领域,生成式AI(Generative AI)正成为推动创新的关键力量。OpenVINO™ GenAI库作为这一领域的佼佼者,为开发者提供了一套完整的工具,以优化和部署生成式AI模型,确保在支持的平台上获得最佳性能。

一,OpenVINO™ GenAI概览

OpenVINO™ GenAI基于OpenVINO™工具和运行时,提供C++/Python API,支持多种生成式AI模型,包括文本生成、图像生成、语音转录与翻译以及图像处理等。以下是OpenVINO™ GenAI支持的主要用例:

文本生成模型:文本摘要、重写、聊天机器人等。

图像生成模型:基于Diffuser架构。

Whisper-based语音转录与翻译。

视觉语言模型(VLMs):图像处理,如LLaVa等。

wKgZO2daccqAaBZiAABxtXWAUMY953.png

二,文本生成模型

1,转换和优化LLMs

从Hugging Face或Model Scope转换和优化LLMs,使用optimum-intel包:

pip install optimum-intel[openvino]

2,运行模型

在Python中运行模型:

import openvino_genai as ov_genai

在C++中运行模型:

#include "openvino/genai/llm_pipeline.hpp"

三,图像生成模型

1,转换和优化模型

使用optimum-intel包从Hugging Face或Model Scope转换和优化模型:

pip install optimum-intel[openvino]

2,运行模型

在Python中:

import openvino_genai as ov_genai

在C++中:

#include "openvino/genai/image_generation/text2image_pipeline.hpp"

四,语音处理模型

1,转换和优化Whisper模型

使用optimum-intel包:

pip install optimum-intel[openvino]

2,运行模型

在Python中:

import openvino_genai as ov_genai

在C++中:

#include "openvino/genai/whisper_pipeline.hpp"

五,图像分析模型

1,转换和优化VLMs

使用optimum-intel包:

pip install optimum-intel[openvino]

2,运行模型

在Python中:

import openvino_genai as ov_genai

在C++中:

#include "openvino/genai/visual_language/pipeline.hpp"

六,总结

OpenVINO™ GenAI为生成式AI的部署提供了强大的支持,无论是文本、图像还是语音处理,都能轻松实现。通过本文的备忘录,您可以快速掌握OpenVINO™ GenAI的安装、模型支持和运行方法,加速您的AI项目开发。

如果你有更好的文章,欢迎投稿!

稿件接收邮箱:nami.liu@pasuntech.com

更多精彩内容请关注“算力魔方®”!


审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • API
    API
    +关注

    关注

    2

    文章

    1499

    浏览量

    61969
  • 生成式AI
    +关注

    关注

    0

    文章

    502

    浏览量

    471
  • OpenVINO
    +关注

    关注

    0

    文章

    92

    浏览量

    196
收藏 人收藏

    评论

    相关推荐

    亿纬锂能与马来西亚拉曼理工大学签署合作备忘录

    近日,亿纬锂能马来西亚分公司(EVE Energy Malaysia Sdn. Bhd)与拉曼管理与工艺大学(以下简称'TAR UMT')在马来西亚槟城签署合作备忘录。此次合作
    的头像 发表于 10-24 10:30 223次阅读

    新紫光集团与埃及签署合作备忘录

    近日,新紫光集团在北京与埃及信息威廉希尔官方网站 产业发展局(ITIDA)、应用创新中心(AIC)及埃及电信公司(Telecom Egypt)等重量级部门及机构成功签署了一项全面合作备忘录,标志着双方在数智化转型与产业升级领域的合作迈入崭新阶段。
    的头像 发表于 09-09 17:26 1061次阅读

    三行代码完成生成AI部署

    OpenVINO2024.2版本跟之前版本最大的不同是OpenVINO2024.2分为两个安装包分别是基础包与生成AI支持包,新发布的Ge
    的头像 发表于 08-30 16:49 413次阅读
    三行代码完成<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>部署

    使用OpenVINO GenAI API的轻量级生成AI

    随着 ChatGPT 等聊天机器人的风暴席卷全球,生成预训练 Transformers (GPT) 在开发者中正在成为家喻户晓的新名字。生成 A
    的头像 发表于 07-24 15:08 586次阅读

    苹果iOS 18备忘录将搭载AI升级功能,新增语音转文字和文本摘要功能

    其中,针对语音备忘录,苹果将在该应用中加入一个较大的录音按键,据称将占据应用界面的显著位置。用户只需轻按此键即可开始录音,随后,系统内置的AI模型会将语音转换为文字。
    的头像 发表于 05-11 10:50 780次阅读

    英飞凌与韩国造船海洋签署合作备忘录

    近日,全球功率半导体巨头英飞凌科技与韩国造船海洋(HD KSOE)共同签署了一份谅解备忘录(MoU)。此次合作旨在推动低碳节能,通过功率半导体威廉希尔官方网站 联合开发新型船用发动机和推动船舶机械电气化。
    的头像 发表于 05-07 15:15 516次阅读

    HarmonyOS开发实例:【手机备忘录

    基于用户首选项,实现了备忘录新增、更新、删除以及查找等功能。
    的头像 发表于 04-18 21:40 791次阅读
    HarmonyOS开发实例:【手机<b class='flag-5'>备忘录</b>】

    苹果iOS 18将支持语音备忘录及数学符号显示

    首先是语音备忘录功能。据悉,苹果有意在iOS 18系统中加入此项功能,使iPhone用户能够便捷地录制音频文件,并将其直接嵌入至备忘录之中。
    的头像 发表于 04-18 11:14 519次阅读

    容百科技宣布与SK On签订《合作备忘录

    本周,容百科技宣布与SK On签订《合作备忘录》,双方将围绕三元和磷酸锰铁锂正极开展深度合作。
    的头像 发表于 03-29 09:56 454次阅读

    英特尔携手Arm签署合作备忘录

    近日,英特尔与Arm两大科技巨头签署了一份谅解备忘录,宣布在“新兴企业支持计划”上展开深度合作。该计划源于今年2月Intel Foundry Direct Connect活动中的公布,进一步夯实了英特尔与Arm去年四月达成的战略合作框架。
    的头像 发表于 03-26 09:28 540次阅读

    华为与华讯网络签署合作备忘录,共同推动客户数智化升级进程

    以“因聚而生 数智有为”为主题的“华为中国合作伙伴大会2024”期间,华为与上海华讯网络系统有限公司(以下简称“华讯网络”)签署了合作备忘录
    的头像 发表于 03-17 17:25 1370次阅读

    霍尼韦尔与南方泵业签署战略合作备忘录

    2024年3月7日,霍尼韦尔智能工业科技集团与南方泵业股份有限公司(以下简称“南方泵业”)签署战略合作备忘录
    的头像 发表于 03-13 17:21 658次阅读

    小马智行宣布与卢森堡大公国政府签署谅解备忘录

    近日,小马智行宣布与卢森堡大公国政府签署谅解备忘录,促进自动驾驶汽车及威廉希尔官方网站 在卢森堡的发展。
    的头像 发表于 03-12 12:20 443次阅读

    软通动力与华为签订中东中亚合作启动备忘录

    3月4日,软通动力与华为在沙特阿拉伯首都利雅得,签订中东中亚合作启动备忘录,未来双方将以互利共赢为合作原则,共同深化中东中亚生态和伙伴业务合作。
    的头像 发表于 03-06 09:56 503次阅读

    利亚德与沙特签署合作备忘录

    利亚德集团正积极拓展其在沙特市场的业务布局。近期,利亚德与中国-沙特阿拉伯投资峰会、沙特投资部以及沙特工程控股集团签署了合作备忘录,计划共同在沙特利雅得建立合资公司,将中国的LED显示先进威廉希尔官方网站 及高端制造产线引入当地。
    的头像 发表于 02-02 15:47 1005次阅读