PyTorch教程4.2之图像分类数据集

1947140 2023-06-05 | pdf | 0.22 MB | 次下载 | 免费

资料介绍

广泛用于图像分类的数据集之一是手写数字的MNIST 数据集（LeCun等人，1998 年）。在 1990 年代发布时，它对大多数机器学习算法提出了巨大挑战，其中包含 60,000 张图像 28×28像素分辨率（加上 10,000 张图像的测试数据集）。客观地说，在 1995 年，配备高达 64MB RAM 和惊人的 5 MFLOPs 的 Sun SPARCStation 5 被认为是 AT&T 贝尔实验室最先进的机器学习设备。实现数字识别的高精度是一个1990 年代 USPS 自动分拣信件的关键组件。深度网络，如 LeNet-5 （LeCun等人，1995 年）、具有不变性的支持向量机（Schölkopf等人，1996 年）和切线距离分类器（Simard等人，1998 年）都允许达到 1% 以下的错误率。

十多年来，MNIST 一直是比较机器学习算法的参考点。虽然它作为基准数据集运行良好，但即使是按照当今标准的简单模型也能达到 95% 以上的分类准确率，这使得它不适合区分强模型和弱模型。更重要的是，数据集允许非常高的准确性，这在许多分类问题中通常是看不到的。这种算法的发展偏向于可以利用干净数据集的特定算法系列，例如活动集方法和边界搜索活动集算法。今天，MNIST 更像是一种健全性检查，而不是基准。ImageNet ( Deng et al. , 2009 )提出了一个更相关的挑战。不幸的是，对于本书中的许多示例和插图来说，ImageNet 太大了，因为训练这些示例需要很长时间才能使示例具有交互性。作为替代，我们将在接下来的部分中重点讨论定性相似但规模小得多的 Fashion-MNIST 数据集（Xiao等人，2017 年），该数据集于 2017 年发布。它包含 10 类服装的图像 28×28像素分辨率。

						%matplotlib inline
import time
import torch
import torchvision
from torchvision import transforms
from d2l import torch as d2l

d2l.use_svg_display()

						 

						%matplotlib inline
import time
from mxnet import gluon, npx
from mxnet.gluon.data.vision import transforms
from d2l import mxnet as d2l

npx.set_np()

d2l.use_svg_display()

						 

						%matplotlib inline
import time
import jax
import numpy as np
import tensorflow as tf
import tensorflow_datasets as tfds
from jax import numpy as jnp
from d2l import jax as d2l

d2l.use_svg_display()

						 

						No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

					

						%matplotlib inline
import time
import tensorflow as tf
from d2l import tensorflow as d2l

d2l.use_svg_display()

						 

4.2.1. 加载数据集

由于它是一个经常使用的数据集，所有主要框架都提供了它的预处理版本。我们可以使用内置的框架实用程序将 Fashion-MNIST 数据集下载并读取到内存中。

							class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    trans = transforms.Compose([transforms.Resize(resize),
                  transforms.ToTensor()])
    self.train = torchvision.datasets.FashionMNIST(
      root=self.root, train=True, transform=trans, download=True)
    self.val = torchvision.datasets.FashionMNIST(
      root=self.root, train=False, transform=trans, download=True)

							 

							class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    trans = transforms.Compose([transforms.Resize(resize),
                  transforms.ToTensor()])
    self.train = gluon.data.vision.FashionMNIST(
      train=True).transform_first(trans)
    self.val = gluon.data.vision.FashionMNIST(
      train=False).transform_first(trans)

							 

							class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    self.train, self.val = tf.keras.datasets.fashion_mnist.load_data()

							 

							class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    self.train, self.val = tf.keras.datasets.fashion_mnist.load_data()

							 

Fashion-MNIST 包含来自 10 个类别的图像，每个类别在训练数据集中由 6,000 个图像表示，在测试数据集中由 1,000 个图像表示。测试 数据集用于评估模型性能（不得用于训练）。因此，训练集和测试集分别包含 60,000 和 10,000 张图像。

							data = FashionMNIST(resize=(32, 32))
len(data.train), len(data.val)

							(60000, 10000)

						

							data = FashionMNIST(resize=(32, 32))
len(data.train), len(data.val)

							(60000, 10000)

						

							data = FashionMNIST(resize=(32, 32))
len(data.train[0]), len(data.val[0])

							(60000, 10000)

						

							data = FashionMNIST(resize=(32, 32))
len(data.train[0]), len(data.val[0])

							(60000, 10000)

						

图像是灰度和放大到32×32分辨率以上的像素。这类似于由（二进制）黑白图像组成的原始 MNIST 数据集。但请注意，大多数具有 3 个通道（红色、绿色、蓝色）的现代图像数据和超过 100 个通道的高光谱图像（HyMap 传感器有 126 个通道）。按照惯例，我们将图像存储为 c×h×w张量，其中c是颜色通道数，h是高度和w是宽度。