[Pytorch] Dataset과 Dataloader

https://tutorials.pytorch.kr/beginner/basics/data_tutorial.html

Dataset과 Dataloader — PyTorch Tutorials 1.9.0+cu102 documentation

 

 

 

Dataset과 Dataloader

• Dataset
  • torch.utils.data.Dataset
  • 샘플과 정답(label)을 저장
• DataLoader
  • torch.utils.data.DataLoader
  • Dataset을 샘플에 쉽게 접근할 수 있도록 반복 가능한 객체(iterable)로 감쌈
• Pytorch의 도메인 특화 라이브러리들은 다양한 pre-loaded 데이터셋 제공
  • torch.utils.data.Dataset의 하위 클래스로 개별 데이터를 특정하는 함수가 구현되어 있음
  • 이미지 데이터셋, 텍스트 데이터셋 및 오디오 데이터셋

torchvision.datasets — Torchvision 0.10.0 documentation

torchtext.datasets — torchtext 0.10.0 documentation

torchaudio.datasets — Torchaudio 0.9.0 documentation

Fashion-MNIST 데이터셋 불러오기

• Fashion_MNIST
  • 60,000개의 학습 예제와 10,000개의 테스트 예제로 구성
  • 각 예제는 흑백의 28X28 이미지와 10개의 분류(class) 중 하나인 정답(label)로 구성됨
  • 매개변수
    • root : 학습/테스트 데이터가 저장되는 경로
    • train : 학습용 또는 테스트용 데이터셋 여부를 지정 (True이면 학습용, False면 테스트용)
    • download=True : root에 데이터가 없는 경우 인터넷에서 다운로드
    • transform : 특징(feature) 변형(transform) 지정
    • target_transform : 정답(label) 변형(transform) 지정

import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import matplotlib.pyplot as plt

training_data = datasets.FashionMNIST(
    root = "data",
    train=True,
    download=True,
    transform=ToTensor()
)

test_data = training_data = datasets.FashionMNIST(
    root = "data",
    train=False,
    download=True,
    transform=ToTensor()
)

 

 

데이터셋을 반복하고 시각화하기

• Dataset에 리스트(list)처럼 직접 접근(index) 가능
• training_data[index].matplotlib을 사용하여 학습 데이터의 일부를 시각화

labels_map = {
    0: "T-Shirt",
    1: "Trouser",
    2: "Pullover",
    3: "Dress",
    4: "Coat",
    5: "Sandal",
    6: "Shirt",
    7: "Sneaker",
    8: "Bag",
    9: "Ankle Boot",
}

figure = plt.figure(figsize=(8,8))
cols, rows = 3, 3

for i in range(1, cols * rows + 1):
  sample_idx = torch.randint(len(training_data), size=(1,)).item()
  img, label = training_data[sample_idx]
  figure.add_subplot(rows, cols, i)
  plt.title(labels_map[label])
  plt.axis("off")
  plt.imshow(img.squeeze(), cmap="gray")

plt.show()

 

 

※ imshow(X, map)

• 컬러맵 map을 사용하여 인덱스 이미지 X를 표시
• 컬러맵 행렬의 행의 수에는 제한 X, 열의 수는 정확히 3개여야 함
• 각 행은 색으로 해석됨 (R, G, B 순서)
• 색 농도는 구간 [0, 1]에서 지정 가능
  
  

※ squeeze : 차원이 1인 차원을 제거해줌. 따로 차원을 설정하지 않을 시 1인 차원을 모두 제거. 설정 시 그 차원만 제거

 

 

 

파일에서 사용자 정의 데이터셋 만들기

• 사용자 정의 Dataset 클래스는 반드시 3개의 함수를 구현해야 함
  • __init__
  • __len__
  • __getitem__
• FashionMNIST 이미지들은 img_dir 디렉토리에, 정답은 annotations_file csv파일에 별도로 저장

import os
import pandas as pd
from torchvision.io import read_image

class CustomImageDataset(Dataset):
  def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
    self.img_labels = pd.read_csv(annotations_file)
    self.img_dir = img_dir
    self.transform = transform
    self.target_transform = target_transform

  def __len__(self):
    return len(self.img_labels)

  def __getitem__(self, idx):
    img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
    image = read_image(img_path)
    label = self.img_labels.iloc[idx, 1]
    if self.transform:
      image = self.transform(image)
    if self.target_transform:
      label = self.target_transform(label)
    return image, label

• __init__
  • Dataset 객체가 생성(instantiate)될 때 한 번만 실행됨
  • 여기서는 이미지와 주석 파일(annotation_file)이 포함된 디렉토리와 두가지 transform을 초기화

def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
    self.img_labels = pd.read_csv(annotations_file)
    self.img_dir = img_dir
    self.transform = transform
    self.target_transform = target_transform

 

•  __len__
  • 데이터셋의 샘플 개수를 반환

def __len__(self):
    return len(self.img_labels)

 

• __getitem__
  • 주어진 인덱스(idx)에 해당하는 샘플을 데이터셋에서 불러오고 반환
    1. 인덱스를 기반으로 디스크에서 이미지의 위치를 식별
    2. read_image를 사용하여 이미지를 텐서로 변환
    3. self.img_labels의 csv데이터로부터 해당하는 정답(label)을 가져옴
    4. (해당하는 경우) 변형(transform) 함수들을 호출
    5. 텐서 이미지와 라벨을 딕셔너리형으로 반환

def __getitem__(self, idx):
    img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
    image = read_image(img_path)
    label = self.img_labels.iloc[idx, 1]
    if self.transform:
        image = self.transform(image)
    if self.target_transform:
        label = self.target_transform(label)
    sample = {"image": image, "label": label}
    return sample

 

 

 

DataLoader로 학습용 데이터 준비하기

• Dataset은 데이터셋의 특징(feature)을 가져오고 하나의 샘플에 정답(label)을 지정하는 일을 한 번에 함
• 모델 학습 시, 일반적으로 샘플들을 "미니배치(minibatch)"로 전달하고, 매 에폭(epoch)마다 데이터를 다시 섞어서 과적합(overfit)을 막고, Python의 multiprocessing을 사용하여 데이터의 검색 속도를 높임
• DataLoader는 간단한 API로 이러한 복잡한 과정들을 추상화한 반복 가능한 객체(iterable)

from torch.utils.data import DataLoader

train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)

 

 

DataLoader를 통해 반복하기(iterate)

• DataLoader에 데이터셋을 불러온 뒤에는 필요에 따라 데이터셋을 반복(iterate) 가능
• 아래 코드이 각 반복(iteration)은 (각각 batch_size = 64의 특징(feature)과 정답(label)을 포함하는) train_features와 train_labels의 묶음(batch)을 반환
• shuffle=True로 지정했으므로, 모든 배치를 반복한 뒤 데이터가 섞임

train_features, train_labels = next(iter(train_dataloader))

print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")

img = train_features[0].squeeze()
label = train_labels[0]

plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")