pytorch十 資料載入

2021-09-19 09:58:25 字數 624 閱讀 4784

在pytorch中,資料載入可通過自定義的資料集物件實現。資料及物件被抽象為dataset類,實現自定義的資料集需要繼承dataset,並實現兩個python魔法方法。

這裡我們以kaggle經典挑戰比賽「dogs vs cat」 的資料為例,詳細講解如何處理資料。這是乙個分類問題,判斷一張是狗還是貓,其所有都存放在乙個資料夾下,根據檔名的字首標明是狗還是貓。 

樣本太多,處理起來較慢,這裡從貓狗中各拿前20張出來,共40個樣本。

import torch as t

from torch.utils import data

import os

from pil import image

import numpy as np

class dogcat(data.dataset):

def __init__(self,root):

#該資料夾下的所有檔案

imgs = os.listdir(root)

#所有的絕對路徑

#這裡不實際載入,只是指定路徑,當呼叫__getitem__時才會真正讀

self.imgs = [os.path.join(root,img) for img

pytorch載入資料

參考 pytorch深度學習快速入門教程 絕對通俗易懂!小土堆 可看到說明,dataset是乙個抽象類,我們重寫dataset時要繼承這個類,所有的子類都應該重寫 getitem 方法,這個方法作用是獲取資料及對應的labe。同時我們可以選擇性地去重寫 len 方法,其作用是獲取資料集長度。這裡我使...

Pytorch資料載入 (一)

在pytorch中,資料載入可以通過自定義的資料集物件實現。資料集物件被抽象為dataset類,實現自定義的資料集需要繼承datase類,並且實現python的兩個魔法方法。a.getitem 返回一條資料或者樣本。如obj index 等價於obj.getitem index 如果定義乙個 cla...

Pytorch的資料載入

pytorch將資料集的處理過程標準化,提供了dataset基本的資料 類,並在torchvision中提供了眾多資料變換函式,資料載入的具體過程 主要分為3步 1 繼承dataset類 對於資料集的處理,pytorch提供了torch.utils.data.dataset這個抽象 類,在使用時只需...