概念概述

• 网格划分：YOLO 首先将输入图像划分为S×S网格。每个网格单元负责预测中心位于该单元内的物体。这种划分使模型能够定位物体并确保检测分布在图像上。

• 边界框预测：对于每个网格单元，YOLO 会预测多个边界框。每个边界框预测包括坐标（中心、宽度和高度）以及置信度分数，该分数反映了边界框的准确性以及该框包含特定对象的可能性。

• 类别概率：除了边界框预测之外，每个网格单元还会预测其检测到的对象属于哪个类别的概率。这些概率取决于包含对象的网格单元。

• 组合预测：YOLO 流程的最后一步是将边界框预测与类别概率相结合，以提供完整的检测输出。每个边界框的置信度分数由类别概率调整，确保检测既反映边界框的准确性，又反映模型对对象类别的置信度。

YOLO 架构揭晓

从图像到预测

• 卷积主干：YOLO 使用一系列卷积层作为主干。这些层负责从输入图像中提取特征。这些层的架构在 YOLO 的不同版本（例如 YOLOv3、YOLOv4 等）之间可能有所不同，每个版本都旨在在速度和准确性之间取得平衡。

• 特征提取：当图像穿过卷积层时，网络会提取和下采样特征，从而创建一个丰富的特征图，其中包含检测所需的基本信息。

• 预测层：在网络末端，YOLO 过渡到预测层，该层通常是具有特定数量滤波器的卷积层。这些滤波器对应于每个网格单元的预测向量，包括边界框坐标、置信度分数和类别概率。

• 输出张量：输出是形状为 (S×S×(B×5+C)) 的张量，其中S×S是网格大小，B是每个网格单元的边界框数量，55 表示四个边界框坐标加上置信度分数，C表示类别数量。此张量封装了网络对图像进行的所有检测。

代码片段：加载和使用预训练的 YOLO 模型

import torch
import torchvision.transforms as transforms
from PIL import Image


# Load a pre-trained YOLO model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)


# Function to perform object detection
def detect_objects(image_path):
# Load and transform the image
image = Image.open(image_path)
transform = transforms.Compose([
transforms.ToTensor(),
])
image = transform(image).unsqueeze(0) # Add batch dimension


# Perform inference
model.eval() # Set the model to evaluation mode
with torch.no_grad():
predictions = model(image)


# Process predictions
# Note: The output format can vary, so adjust the processing as needed
for pred in predictions[0]:
bbox = pred[:4] # Bounding box coordinates
score = pred[4] # Confidence score
class_id = pred[5] # Class ID
print(f'Class: {class_id}, Score: {score}, BBox: {bbox}')


# Example usage
detect_objects('path/to/your/image.jpg')

训练 YOLO 模型

学会观察

• 定位损失：损失函数的这一部分惩罚边界框预测位置和大小的误差。它通常关注预测边界框坐标与地面真实坐标之间的差异，通常使用诸如平方误差和之类的度量。

• 置信度损失：此组件惩罚边界框置信度分数中的错误。置信度分数反映了模型对边界框包含物体的确定性以及模型认为边界框的准确度。对于包含物体的边界框和不包含物体的边界框，计算的损失不同，以帮助模型区分这两种情况。

• 分类损失：损失函数的这一部分针对每个网格单元的类别概率预测。它通常涉及预测概率和独热编码的真实类别标签之间的分类交叉熵损失。

代码片段：YOLO 的训练设置

import torch
import torch.optim as optim


# Assuming yolo_model is your YOLO model and train_loader is your data loader


# Define the optimizer
optimizer = optim.Adam(yolo_model.parameters(), lr=0.001)


# Placeholder for the YOLO loss function
# Note: You'll need to define this based on the specific YOLO version and its output format
def yolo_loss(predictions, targets):
    # Compute localization loss, confidence loss, and classification loss
    # localization_loss = ...
    # confidence_loss = ...
    # classification_loss = ...
    
    # Combine the losses
    total_loss = localization_loss + confidence_loss + classification_loss
    return total_loss


# Training loop
for epoch in range(num_epochs):
    for images, targets in train_loader:  # Assuming targets contain ground truth
        optimizer.zero_grad()  # Zero the gradients
        
        # Forward pass
        predictions = yolo_model(images)
        
        # Compute loss
        loss = yolo_loss(predictions, targets)
        
        # Backward pass and optimize
        loss.backward()
        optimizer.step()
    
    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item()}')

YOLO 实际应用：真实世界的应用

超越基础

• 监控：YOLO 的实时处理能力在监控系统中特别有用，它可以同时检测和跟踪多个物体，例如个人、车辆或任何异常活动，从而增强公共和私人空间的安全措施。

• 自动驾驶：在自动驾驶汽车领域，YOLO 有助于完成检测和分类汽车、行人和交通标志等物体的关键任务，使汽车能够做出明智的决策并安全行驶。

• 野生动物监测：YOLO 已被用于野生动物监测项目，它有助于自动检测和识别自然栖息地中的物种，协助保护工作和生物多样性研究。

• 零售和库存管理：在零售领域，YOLO 可以通过实时检测和跟踪货架上的产品来简化库存管理，并可以通过交互式显示和监控来增强客户体验。

代码片段：将 YOLO 应用于视频流

import cv2
import torch


# Load the pre-trained YOLO model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)


# Initialize the video stream (replace '0' with a video file path for processing a video file)
cap = cv2.VideoCapture(0)


while True:
    # Read frames from the video stream
    ret, frame = cap.read()
    if not ret:
        break


    # Convert the frame to the format expected by the model
    frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = model([frame_rgb], size=640)  # Adjust size as needed


    # Render the detections on the frame
    frame_with_detections = results.render()[0]


    # Convert the frame back to BGR for displaying with OpenCV
    frame_with_detections_bgr = cv2.cvtColor(frame_with_detections, cv2.COLOR_RGB2BGR)


    # Display the frame with detections
    cv2.imshow('YOLO Object Detection', frame_with_detections_bgr)


    # Break the loop when 'q' is pressed
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break


# Release the video stream and close windows
cap.release()
cv2.destroyAllWindows()