0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI模型部署边缘设备的奇妙之旅:如何在边缘端部署OpenCV

福州市凌睿智捷电子有限公司 2024-12-14 09:10 次阅读

1 简介

Opencv(Open Source Computer Vision Library)是一个基于开源发行的跨平台计算机视觉库,它实现了图像处理和计算机视觉方面的很多通用算法,已成为计算机视觉领域最有力的研究工具。在深度学习中,我们会经常接触到两个名称,图像处理和计算机视觉,它们之间有什么区别呢?图像处理 (Image Processing)

目的:图像处理主要集中在改善或转换图像的质量,使得图像更适合人类观察或者为后续的分析做准备。

方法:通常涉及像素级别的操作,比如调整亮度、对比度、颜色校正、滤波(如高斯模糊、中值滤波去噪)、边缘检测、形态学变换(膨胀、腐蚀)等。

计算机视觉 (Computer Vision)

目的:计算机视觉的目标是使计算机能够理解和解释图像或视频的内容,实现类似于人类视觉系统的感知能力。

方法:使用高级算法来解析图像中的内容,包括但不限于特征提取、物体识别、分类、跟踪、场景重建等。这可能涉及到机器学习和深度学习模型的应用。

简而言之,图像处理是计算机视觉的基础,提供了必要的工具和威廉希尔官方网站 来预处理和优化图像数据;而计算机视觉则是在此基础之上,通过更加复杂的算法和模型来解析图像的意义。在实际应用中,这两者往往是紧密结合的,共同作用于解决复杂的问题。例如,在一个自动驾驶系统中,图像处理可能会用于清理传感器输入的数据,而计算机视觉则负责识别道路上的行人、车辆和其他重要元素。

2 基础知识

OpenCV 是一个开源的计算机视觉和机器学习软件库,广泛用于图像处理、视频捕捉、物体检测等领域。一些常用操作及其目的:

读取图片

使用cv2.imread()函数加载图像。

目的:为后续处理和分析准备图像数据。

转换色彩空间

使用cv2.cvtColor()进行色彩空间转换。

目的:适应不同算法的需求,例如灰度图用于简化计算,HSV用于颜色分割等。

滤波

高斯模糊 (cv2.GaussianBlur)、均值滤波 (cv2.blur) 和双边滤波 (cv2.bilateralFilter) 等。

目的:降噪和平滑图像,或在保持边缘的同时模糊细节。

绘制图形

使用cv2.line()、cv2.rectangle()、cv2.circle()和cv2.polylines()来绘制直线、矩形、圆形或多边形。

目的:可视化结果,标注图像中的特征或者创建掩码。

边缘检测

Canny 边缘检测 (cv2.Canny) 或 Sobel 操作符 (cv2.Sobel)。

目的:检测图像中物体的边界,是很多高级计算机视觉任务的基础步骤。

阈值操作

cv2.threshold()用于二值化图像。

目的:突出显示感兴趣区域,简化图像以利于进一步分析。

Sobel 滤波

使用cv2.Sobel()计算图像梯度。

目的:增强边缘,通常与边缘检测相关联。

文件保存

cv2.imwrite()将图像保存到磁盘。

目的:保存处理后的图像以便将来使用或分享。

此外,还有其他重要的OpenCV功能,如:

直方图均衡化(cv2.equalizeHist) 提升图像对比度。

模板匹配(cv2.matchTemplate) 用于查找一个图像中的另一个小图像的位置。

特征点检测和描述子计算,如 SIFT, SURF, ORB 等,用于图像配准、拼接等任务。

这些基础操作和高级特性共同构成了强大的工具集,可以用来开发从简单的图像编辑应用到复杂的计算机视觉系统。 这些操作是构建复杂图像处理流水线的基础,可以单独使用,也可以组合起来解决更复杂的视觉问题。例如,预处理阶段可能会包括去噪、边缘检测和形态学操作;而在后处理阶段,则可能会涉及阈值操作和绘制几何图形来标注或解释结果。以上这些算子仅仅是OpenCV库的一小部分的内容,但是它们是支持我们进行复杂操作的基础。

3 实际操作

在学习OpenCV的初期,可能会觉得每个算子或函数就像是独立的知识点,虽然能够理解它们各自的功能和用法,但当面对实际问题时,却难以将这些知识点有效地组合起来解决问题。这是因为从理论到实践的应用需要一个过渡的过程,在这个过程中,不仅需要掌握单个算子的操作,还需要学会如何根据具体的需求选择合适的算子,并且合理地调整参数以达到预期的效果。OpenCV的强大之处在于它提供了丰富的图像处理功能,但这也意味着使用它的难点在于:

理解和记忆大量的算子:OpenCV库中包含了大量的算子,每个算子都有其特定的应用场景和参数设置。对于初学者来说,理解和记住这么多的内容可能是一个挑战。

算子之间的组合应用:很多情况下,单独使用一个算子并不能完成复杂的任务,而是需要多个算子相互配合。这就要求学习者不仅要了解各个算子的工作原理,还要懂得如何将它们有机地结合起来,以实现更复杂的功能。

参数调优:每个算子通常都带有一系列可调节的参数,这些参数的选择直接影响到最终的结果。找到一组最优化的参数值往往需要通过不断的实验和尝试,这既考验耐心也考验经验。

解决实际问题的能力:将理论知识应用于实践,解决真实世界中的问题是学习任何威廉希尔官方网站 的关键。对于OpenCV而言,这意味着要能够分析给定的任务需求,确定所需的操作步骤,并正确地执行这些步骤。为了克服上述困难,建议多做练习,特别是针对不同类型的图像处理任务进行实战演练。同时,可以参考官方文档、在线教程以及社区讨论来加深对算子的理解,学习他人是如何解决问题的。此外,不断积累经验和案例研究也会有助于提高解决新问题的能力。

本文章主要讲述如何在边缘端设备上使用OpenCV。本次使用的边缘端设备是凌智电子开发的凌智视觉模块,具体如下:

4214312e-b9b8-11ef-8084-92fbcf53809c.png

如对该边缘端设备感兴趣,可到Gitee仓库:凌智视觉模块查看该设备的具体信息

接下来我们通过几个例子来介绍如何在边缘端设备使用OpenCV进行形状检测。

3.1 矩形检测

importlockzhiner_vision_module.cv2ascv2fromlockzhiner_vision_module.editimportEditimporttimeimportsysif__name__ =="__main__": args = sys.argv iflen(args) !=3: print("Need model path. Example: python test_capture.py width height") exit(1) edit = Edit() edit.start_and_accept_connection() video_capture = cv2.VideoCapture() video_capture.set_width(int(args[1])) video_capture.set_height(int(args[2])) ifvideo_capture.open(0)isFalse: print("Failed to open capture") exit(1) whileTrue: read_index =0 total_time_ms =0 foriinrange(30): start_time = time.time() ret, mat = video_capture.read() ifretisFalse: continue end_time = time.time() # 转换为灰度图像 gray = cv2.cvtColor(mat, cv2.COLOR_BGR2GRAY) # 高斯模糊 blurred = cv2.GaussianBlur(gray, (5, 5), 0) # 二值化 _, binary = cv2.threshold(blurred, 127, 255, cv2.THRESH_BINARY_INV) edges = cv2.Canny(binary, 30, 200) contours, _ = cv2.findContours(edges.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE) for contour in contours: # 近似轮廓 # 计算轮廓周长 epsilon = 0.02 * cv2.arcLength(contour, True) # 将轮廓近似为多边形 if epsilon < 15:                    continue                approx = cv2.approxPolyDP(contour, epsilon, True)                # 如果近似轮廓有4个顶点,则认为是矩形                if len(approx) == 4:                    cv2.putText(mat, "Rectangle", (50,50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)                    cv2.drawContours(mat, [approx], -1, (0, 255, 0), 2)            edit.print(mat)            total_time_ms += end_time - start_time            read_index += 1        print(f"FPS is {1.0 / (total_time_ms / read_index)}")

在这一段代码中的检测效果如下图所示

42383592-b9b8-11ef-8084-92fbcf53809c.png

但是当我们只想要外部的矩形时,我们可以怎么做呢?

contours, _ = cv2.findContours(edges.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

426099a6-b9b8-11ef-8084-92fbcf53809c.png

效果如上图所示,接下来我们就得深究一下cv2.findContours mode 参数 和 method 参数的区别及作用了,我就不一一演示了,大家伙可以自行实验,毕竟我也踩过。mode: 轮廓检索模式,定义了如何检索轮廓及其层次结构。有以下几种选择:

cv2.RETR_EXTERNAL: 只检索最外层的轮廓。

cv2.RETR_LIST: 检索所有的轮廓,但不建立它们之间的等级关系。

cv2.RETR_CCOMP: 检索所有的轮廓,并将它们组织为两级层次结构:顶层是外部边界,次级是孔洞。

cv2.RETR_TREE: 检索所有轮廓,并重建完整的包含关系。

method: 轮廓近似方法,决定了轮廓的精度。有以下几种选择:

cv2.CHAIN_APPROX_NONE: 存储所有的轮廓点,即没有近似。

cv2.CHAIN_APPROX_SIMPLE: 压缩水平、垂直和对角方向上的元素,只保留端点。

cv2.CHAIN_APPROX_TC89_L1: 使用一种称为 Teh-Chin 链逼近算法的更复杂的压缩方式。

cv2.CHAIN_APPROX_TC89_KCOS: 同样使用 Teh-Chin 链逼近算法,但与 L1 不同,它是基于 KCOS 的。

3.2 圆形检测

OpenCV 提供了HoughCircles函数来检测圆形。Hough变换是一种用于从图像中提取几何形状(如直线、圆等)的威廉希尔官方网站 ,它通过参数空间的投票机制来实现。对于圆形检测,Hough变换可以识别出满足特定条件的圆形结构。下面是使用 OpenCV 进行圆形检测的基本步骤:

首先加载需要检测圆的图像,并将其转换为灰度图,因为颜色信息对于圆形检测不是必要的。调用cv2.HoughCircles函数进行圆形检测。该函数接受几个重要参数:

method:定义了检测方法,通常使用cv2.HOUGH_GRADIENT。

dp:累加器分辨率与图像分辨率的反比。dp=1 表示累加器具有与输入图像相同的分辨率。

minDist:检测到的圆心之间的最小距离。如果设置得太小,可能会检测到多个相邻的圆;如果太大,可能会漏检一些圆。

param1:Canny边缘检测的高阈值,低阈值是高阈值的一半。

param2:累加器阈值。该阈值越小,检测到的圆越多(包括不完美的圆)。越大则只检测到更明显的圆。

minRadius和maxRadius:分别为检测到的圆的最小和最大半径。

请注意,上述参数 (dp,minDist,param1,param2,minRadius,maxRadius) 需要根据具体应用场景调整,以获得最佳检测效果。例如,不同的光照条件、背景复杂度或者目标圆的大小都会影响这些参数的选择。实例代码

fromlockzhiner_vision_module.cv2importVideoCaptureimportlockzhiner_vision_module.cv2ascv2fromlockzhiner_vision_module.editimportEditimporttimeimportsyspi =3.14159265358979323846if__name__ =="__main__": args = sys.argv iflen(args) !=3: print("Need model path. Example: python test_capture.py width height") exit(1) edit = Edit() edit.start_and_accept_connection() video_capture = VideoCapture() video_capture.set_width(int(args[1])) video_capture.set_height(int(args[2])) ifvideo_capture.open(0)isFalse: print("Failed to open capture") exit(1) whileTrue: read_index =0 total_time_ms =0 foriinrange(30): start_time = time.time() ret, mat = video_capture.read() ifretisFalse: continue end_time = time.time() # 转换为灰度图像 # 转换为灰度图像 gray = cv2.cvtColor(mat, cv2.COLOR_BGR2GRAY) # 使用高斯模糊减少噪声 blurred = cv2.GaussianBlur(gray, (9, 9), 2) # 使用 HoughCircles 检测圆形 circles = cv2.HoughCircles(blurred, cv2.HOUGH_GRADIENT, dp=1, minDist=50, param1=50, param2=30, minRadius=120, maxRadius=250) # print(circles) if circles is not None: # 在图像上绘制检测到的圆 for i in circles[0]: center = (int(i[0]), int(i[1])) radius = int(i[2]) cv2.putText(mat, "circle", (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2) # 绘制圆心 cv2.circle(mat, center, 1, (0, 100, 100), 3) # 绘制圆 cv2.circle(mat, center, radius, (0, 255, 0), 3) edit.print(mat) total_time_ms += end_time - start_time read_index += 1 print(f"FPS is {1.0 / (total_time_ms/read_index)}")

检测效果图 :

42825686-b9b8-11ef-8084-92fbcf53809c.png


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 图像处理
    +关注

    关注

    27

    文章

    1289

    浏览量

    56724
  • AI
    AI
    +关注

    关注

    87

    文章

    30746

    浏览量

    268897
  • OpenCV
    +关注

    关注

    31

    文章

    634

    浏览量

    41338
收藏 人收藏

    评论

    相关推荐

    企业AI模型部署攻略

    当下,越来越多的企业开始探索和实施AI模型,以提升业务效率和竞争力。然而,AI模型部署并非易事,需要企业在多个层面进行细致的规划和准备。下
    的头像 发表于 12-23 10:31 44次阅读

    AI模型部署边缘设备奇妙之旅:目标检测模型

    以及边缘计算能力的增强,越来越多的目标检测应用开始直接在靠近数据源的边缘设备上运行。这不仅减少了数据传输延迟,保护了用户隐私,同时也减轻了云端服务器的压力。然而,在边缘
    发表于 12-19 14:33

    AI模型部署边缘设备奇妙之旅:目标检测模型

    1简介人工智能图像识别是人工智能领域的一个重要分支,它涉及计算机视觉、深度学习、机器学习等多个领域的知识和威廉希尔官方网站 。图像识别主要是处理具有一定复杂性的信息。计算机采用与人类类似的图像识别原理,即对图像的重要特征进行分类和提取,并有效排除无用的多余特征,进而实现图像识别。一般而言,图像识别有四大类任务:(1)分类-Classification:解决“是什么?”的问
    的头像 发表于 12-19 14:12 232次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>模型</b><b class='flag-5'>部署</b><b class='flag-5'>边缘</b><b class='flag-5'>设备</b>的<b class='flag-5'>奇妙</b><b class='flag-5'>之旅</b>:目标检测<b class='flag-5'>模型</b>

    AI模型部署边缘设备奇妙之旅:如何在边缘部署OpenCV

    的能力。 本文章主要讲述如何在边缘设备上使用OpenCV。本次使用的边缘
    发表于 12-14 09:31

    AI模型部署边缘设备奇妙之旅:如何实现手写数字识别

    1简介近年来,人工智能(AI)威廉希尔官方网站 的突破性进展为嵌入式系统带来了新的生机。AI威廉希尔官方网站 的融入使得嵌入式系统能够更加智能地处理复杂任务,如图像识别、语音识别、自然语言处理等。这种融合不仅提高了嵌入式系统
    的头像 发表于 12-07 01:07 220次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>模型</b><b class='flag-5'>部署</b><b class='flag-5'>边缘</b><b class='flag-5'>设备</b>的<b class='flag-5'>奇妙</b><b class='flag-5'>之旅</b>:如何实现手写数字识别

    AI模型部署边缘设备奇妙之旅:如何实现手写数字识别

    处理,而不必传输到外部服务器,这有助于更好地保护用户隐私和数据安全。 然而,边缘计算也带来了独特的挑战,特别是在资源受限的嵌入式系统中部署复杂的AI模型时。为了确保神经网络
    发表于 12-06 17:20

    恩智浦如何在边缘设备部署LLM

    开放式聊天机器人到任务型助手。虽然LLM主要聚焦基于云和服务器的应用,但人们对在嵌入式系统和边缘设备部署这些模型的兴趣也在不断增加。
    的头像 发表于 11-29 09:39 302次阅读

    设备上利用AI Edge Torch生成式API部署自定义大语言模型

    ,从而无缝地将新的设备生成式 AI 模型部署边缘设备
    的头像 发表于 11-14 10:23 421次阅读
    在<b class='flag-5'>设备</b>上利用<b class='flag-5'>AI</b> Edge Torch生成式API<b class='flag-5'>部署</b>自定义大语言<b class='flag-5'>模型</b>

    利用恩智浦云实验室部署AI模型

    如今,人工智能(AI)非常火爆,这个风口该如何把握?作为一个电子工程师,和AI最主要的交集应该就是边缘计算了,具体来讲,就是在一些性能、功耗以及价格相对较低的嵌入式平台上部署和运行
    的头像 发表于 08-02 11:46 2743次阅读
    利用恩智浦云实验室<b class='flag-5'>部署</b><b class='flag-5'>AI</b><b class='flag-5'>模型</b>

    支持大模型部署和运行的边缘计算SoC芯片

    电子发烧友网报道(文/李弯弯)如今,AI边缘侧的应用越来越广泛,这其中少不了AI SoC芯片的支持,边缘计算AI SoC是一种集成了人工智
    的头像 发表于 05-27 08:00 3401次阅读

    部署边缘设备上的轻量级模型

    电子发烧友网报道(文/李弯弯)边缘AI算法是一种将人工智能(AI)算法和计算能力放置在接近数据源的终端设备中的策略。这种算法通常被部署
    的头像 发表于 05-11 00:17 2602次阅读

    NVIDIA与恩智浦联手,在边缘设备部署AI模型

    恩智浦工业及IoT边缘高级副总裁Charles Dachs表示,人工智能的创新将塑造智能互联世界的未来,融入Nvidia先进的AI培训威廉希尔官方网站 以及恩智浦在工业及物联网边缘科研实力,将产生协同效益,让用户能更迅速地将自家
    的头像 发表于 03-25 16:05 875次阅读

    使用CUBEAI部署tflite模型到STM32F0中,模型创建失败怎么解决?

    看到CUBE_AI已经支持到STM32F0系列芯片,就想拿来入门嵌入式AI。 生成的模型很小,是可以部署到F0上的,但是一直无法创建成功。 查阅CUBE
    发表于 03-15 08:10

    AI边缘计算机应用场景广泛!大语言模型与数字人结合方案在边缘侧落地

    电子发烧友网报道(文/李弯弯)AI边缘计算机是一种人工智能和边缘计算威廉希尔官方网站 相结合的计算机设备。它可以在本地设备上运行
    的头像 发表于 01-16 01:11 4435次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>边缘</b>计算机应用场景广泛!大语言<b class='flag-5'>模型</b>与数字人结合方案在<b class='flag-5'>边缘</b>侧落地

    边缘部署模型优势多!模型量化解决边缘设备资源限制问题

    设备上,可以减少数据传输的延迟和带宽需求,提高模型的实时性和响应速度。   边缘部署模型的优
    的头像 发表于 01-05 00:06 3526次阅读