1 简介
Opencv(Open Source Computer Vision Library)是一个基于开源发行的跨平台计算机视觉库,它实现了图像处理和计算机视觉方面的很多通用算法,已成为计算机视觉领域最有力的研究工具。在深度学习中,我们会经常接触到两个名称,图像处理和计算机视觉,它们之间有什么区别呢?
图像处理 (Image Processing)
- 目的:图像处理主要集中在改善或转换图像的质量,使得图像更适合人类观察或者为后续的分析做准备。
- 方法:通常涉及像素级别的操作,比如调整亮度、对比度、颜色校正、滤波(如高斯模糊、中值滤波去噪)、边缘检测、形态学变换(膨胀、腐蚀)等。
计算机视觉 (Computer Vision)
- 目的:计算机视觉的目标是使计算机能够理解和解释图像或视频的内容,实现类似于人类视觉系统的感知能力。
- 方法:使用高级算法来解析图像中的内容,包括但不限于特征提取、物体识别、分类、跟踪、场景重建等。这可能涉及到机器学习和深度学习模型的应用。
简而言之,图像处理是计算机视觉的基础,提供了必要的工具和威廉希尔官方网站
来预处理和优化图像数据;而计算机视觉则是在此基础之上,通过更加复杂的算法和模型来解析图像的意义。
在实际应用中,这两者往往是紧密结合的,共同作用于解决复杂的问题。例如,在一个自动驾驶系统中,图像处理可能会用于清理传感器输入的数据,而计算机视觉则负责识别道路上的行人、车辆和其他重要元素。
2 基础知识
OpenCV 是一个开源的计算机视觉和机器学习软件库,广泛用于图像处理、视频捕捉、物体检测等领域。一些常用操作及其目的:
-
读取图片
- 使用
cv2.imread()
函数加载图像。
- 目的:为后续处理和分析准备图像数据。
-
转换色彩空间
- 使用
cv2.cvtColor()
进行色彩空间转换。
- 目的:适应不同算法的需求,例如灰度图用于简化计算,HSV用于颜色分割等。
-
滤波
- 高斯模糊 (
cv2.GaussianBlur
)、均值滤波 (cv2.blur
) 和双边滤波 (cv2.bilateralFilter
) 等。
- 目的:降噪和平滑图像,或在保持边缘的同时模糊细节。
-
绘制图形
- 使用
cv2.line()
、cv2.rectangle()
、cv2.circle()
和 cv2.polylines()
来绘制直线、矩形、圆形或多边形。
- 目的:可视化结果,标注图像中的特征或者创建掩码。
-
边缘检测
- Canny 边缘检测 (
cv2.Canny
) 或 Sobel 操作符 (cv2.Sobel
)。
- 目的:检测图像中物体的边界,是很多高级计算机视觉任务的基础步骤。
-
阈值操作
cv2.threshold()
用于二值化图像。
- 目的:突出显示感兴趣区域,简化图像以利于进一步分析。
-
Sobel 滤波
- 使用
cv2.Sobel()
计算图像梯度。
- 目的:增强边缘,通常与边缘检测相关联。
-
文件保存
-
cv2.imwrite()
将图像保存到磁盘。
-
目的:保存处理后的图像以便将来使用或分享。
此外,还有其他重要的OpenCV功能,如:
- 直方图均衡化 (
cv2.equalizeHist
) 提升图像对比度。
- 模板匹配 (
cv2.matchTemplate
) 用于查找一个图像中的另一个小图像的位置。
- 特征点检测和描述子计算,如 SIFT, SURF, ORB 等,用于图像配准、拼接等任务。
这些基础操作和高级特性共同构成了强大的工具集,可以用来开发从简单的图像编辑应用到复杂的计算机视觉系统。 这些操作是构建复杂图像处理流水线的基础,可以单独使用,也可以组合起来解决更复杂的视觉问题。例如,预处理阶段可能会包括去噪、边缘检测和形态学操作;而在后处理阶段,则可能会涉及阈值操作和绘制几何图形来标注或解释结果。以上这些算子仅仅是OpenCV库的一小部分的内容,但是它们是支持我们进行复杂操作的基础。
3 实际操作
在学习OpenCV的初期,可能会觉得每个算子或函数就像是独立的知识点,虽然能够理解它们各自的功能和用法,但当面对实际问题时,却难以将这些知识点有效地组合起来解决问题。这是因为从理论到实践的应用需要一个过渡的过程,在这个过程中,不仅需要掌握单个算子的操作,还需要学会如何根据具体的需求选择合适的算子,并且合理地调整参数以达到预期的效果。
OpenCV的强大之处在于它提供了丰富的图像处理功能,但这也意味着使用它的难点在于:
- 理解和记忆大量的算子:OpenCV库中包含了大量的算子,每个算子都有其特定的应用场景和参数设置。对于初学者来说,理解和记住这么多的内容可能是一个挑战。
- 算子之间的组合应用:很多情况下,单独使用一个算子并不能完成复杂的任务,而是需要多个算子相互配合。这就要求学习者不仅要了解各个算子的工作原理,还要懂得如何将它们有机地结合起来,以实现更复杂的功能。
- 参数调优:每个算子通常都带有一系列可调节的参数,这些参数的选择直接影响到最终的结果。找到一组最优化的参数值往往需要通过不断的实验和尝试,这既考验耐心也考验经验。
- 解决实际问题的能力:将理论知识应用于实践,解决真实世界中的问题是学习任何威廉希尔官方网站
的关键。对于OpenCV而言,这意味着要能够分析给定的任务需求,确定所需的操作步骤,并正确地执行这些步骤。
为了克服上述困难,建议多做练习,特别是针对不同类型的图像处理任务进行实战演练。同时,可以参考官方文档、在线教程以及社区讨论来加深对算子的理解,学习他人是如何解决问题的。此外,不断积累经验和案例研究也会有助于提高解决新问题的能力。
本文章主要讲述如何在边缘端设备上使用OpenCV。本次使用的边缘端设备是凌智电子开发的凌智视觉模块,具体如下:
如对该边缘端设备感兴趣,可到Gitee仓库:凌智视觉模块查看该设备的具体信息。
接下来我们通过几个例子来介绍如何在边缘端设备使用OpenCV进行形状检测。
3.1 矩形检测
import lockzhiner_vision_module.cv2 as cv2
from lockzhiner_vision_module.edit import Edit
import time
import sys
if __name__ == "__main__":
args = sys.argv
if len(args) != 3:
print("Need model path. Example: python test_capture.py width height")
exit(1)
edit = Edit()
edit.start_and_accept_connection()
video_capture = cv2.VideoCapture()
video_capture.set_width(int(args[1]))
video_capture.set_height(int(args[2]))
if video_capture.open(0) is False:
print("Failed to open capture")
exit(1)
while True:
read_index = 0
total_time_ms = 0
for i in range(30):
start_time = time.time()
ret, mat = video_capture.read()
if ret is False:
continue
end_time = time.time()
gray = cv2.cvtColor(mat, cv2.COLOR_BGR2GRAY)
blurred = cv2.GaussianBlur(gray, (5, 5), 0)
_, binary = cv2.threshold(blurred, 127, 255, cv2.THRESH_BINARY_INV)
edges = cv2.Canny(binary, 30, 200)
contours, _ = cv2.findContours(edges.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
for contour in contours:
epsilon = 0.02 * cv2.arcLength(contour, True)
if epsilon < 15:
continue
approx = cv2.approxPolyDP(contour, epsilon, True)
if len(approx) == 4:
cv2.putText(mat, "Rectangle", (50,50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
cv2.drawContours(mat, [approx], -1, (0, 255, 0), 2)
edit.print(mat)
total_time_ms += end_time - start_time
read_index += 1
print(f"FPS is {1.0 / (total_time_ms / read_index)}")
在这一段代码中的检测效果如下图所示
但是当我们只想要外部的矩形时,我们可以怎么做呢?
contours, _ = cv2.findContours(edges.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
效果如上图所示,接下来我们就得深究一下cv2.findContours mode 参数 和 method 参数的区别及作用了,我就不一一演示了,大家伙可以自行实验,毕竟我也踩过。
mode: 轮廓检索模式,定义了如何检索轮廓及其层次结构。有以下几种选择:
cv2.RETR_EXTERNAL
: 只检索最外层的轮廓。
cv2.RETR_LIST
: 检索所有的轮廓,但不建立它们之间的等级关系。
cv2.RETR_CCOMP
: 检索所有的轮廓,并将它们组织为两级层次结构:顶层是外部边界,次级是孔洞。
cv2.RETR_TREE
: 检索所有轮廓,并重建完整的包含关系。
method: 轮廓近似方法,决定了轮廓的精度。有以下几种选择:
cv2.CHAIN_APPROX_NONE
: 存储所有的轮廓点,即没有近似。
cv2.CHAIN_APPROX_SIMPLE
: 压缩水平、垂直和对角方向上的元素,只保留端点。
cv2.CHAIN_APPROX_TC89_L1
: 使用一种称为 Teh-Chin 链逼近算法的更复杂的压缩方式。
cv2.CHAIN_APPROX_TC89_KCOS
: 同样使用 Teh-Chin 链逼近算法,但与 L1 不同,它是基于 KCOS 的。
3.2 圆形检测
OpenCV 提供了 HoughCircles
函数来检测圆形。Hough变换是一种用于从图像中提取几何形状(如直线、圆等)的威廉希尔官方网站
,它通过参数空间的投票机制来实现。对于圆形检测,Hough变换可以识别出满足特定条件的圆形结构。下面是使用 OpenCV 进行圆形检测的基本步骤:
首先加载需要检测圆的图像,并将其转换为灰度图,因为颜色信息对于圆形检测不是必要的。
调用 cv2.HoughCircles
函数进行圆形检测。该函数接受几个重要参数:
method
:定义了检测方法,通常使用 cv2.HOUGH_GRADIENT
。
dp
:累加器分辨率与图像分辨率的反比。dp=1 表示累加器具有与输入图像相同的分辨率。
minDist
:检测到的圆心之间的最小距离。如果设置得太小,可能会检测到多个相邻的圆;如果太大,可能会漏检一些圆。
param1
:Canny边缘检测的高阈值,低阈值是高阈值的一半。
param2
:累加器阈值。该阈值越小,检测到的圆越多(包括不完美的圆)。越大则只检测到更明显的圆。
minRadius
和 maxRadius
:分别为检测到的圆的最小和最大半径。
请注意,上述参数 (dp
, minDist
, param1
, param2
, minRadius
, maxRadius
) 需要根据具体应用场景调整,以获得最佳检测效果。例如,不同的光照条件、背景复杂度或者目标圆的大小都会影响这些参数的选择。
实例代码
from lockzhiner_vision_module.cv2 import VideoCapture
import lockzhiner_vision_module.cv2 as cv2
from lockzhiner_vision_module.edit import Edit
import time
import sys
pi = 3.14159265358979323846
if __name__ == "__main__":
args = sys.argv
if len(args) != 3:
print("Need model path. Example: python test_capture.py width height")
exit(1)
edit = Edit()
edit.start_and_accept_connection()
video_capture = VideoCapture()
video_capture.set_width(int(args[1]))
video_capture.set_height(int(args[2]))
if video_capture.open(0) is False:
print("Failed to open capture")
exit(1)
while True:
read_index = 0
total_time_ms = 0
for i in range(30):
start_time = time.time()
ret, mat = video_capture.read()
if ret is False:
continue
end_time = time.time()
gray = cv2.cvtColor(mat, cv2.COLOR_BGR2GRAY)
blurred = cv2.GaussianBlur(gray, (9, 9), 2)
circles = cv2.HoughCircles(blurred, cv2.HOUGH_GRADIENT, dp=1, minDist=50,
param1=50, param2=30, minRadius=120, maxRadius=250)
if circles is not None:
for i in circles[0]:
center = (int(i[0]), int(i[1]))
radius = int(i[2])
cv2.putText(mat, "circle", (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
cv2.circle(mat, center, 1, (0, 100, 100), 3)
cv2.circle(mat, center, radius, (0, 255, 0), 3)
edit.print(mat)
total_time_ms += end_time - start_time
read_index += 1
print(f"FPS is {1.0 / (total_time_ms/read_index)}")
检测效果图 :