零基礎自定義資料集入門示例

總結乙個簡單的自定義資料集示例

假設資料檔案儲存在path中的txt檔案中，內容為【時間，資料1，資料2，資料3】的列表

對應的標籤存在label.txt中

from torch.utils.data import dataset

# 自定義資料集，繼承自dataset類
# 必須包含__init__，__getitem__，__len__三個功能
class mydataset(dataset):
#初始化，呼叫自定義函式從檔案中讀入資料
def __init__(self,path,labelfile):
self.samples = self.get_samples(path)
self.labels = self.read_data(labelfile)
#從定義完的資料集中取樣本，返回索引值對應的特徵和標籤
def __getitem__(self, index):
return self.samples[index], self.labels[index]
#資料集總樣本數
def __len__(self):
return len(self.labels)
def get_samples(self,path):
filelist = os.listdir(path)
sample_list = 
for file in filelist:
with open(path + file, 'r')as f:
data = f.readlines()
sample_one = 
for line in data:
line = line.strip('\n').split(' ')
linet = 
return sample_list
def read_data(self,labelfile):
labels = 
with open(labelfile,'r') as f:
data = f.readlines()
for line in data:
return labels

#定義資料集

dataset = mydataset(path1,labelfile)
#特徵列表
features = dataset[:][0]
#標籤列表
labels = dataset[:][1]
#第index個樣本，即__getitem__(index)
f_index,l_index = dataset[index]
#樣本總數，即__len__()
sample_total_num = len(dataset)

import numpy as np

data = np.loadtxt(path+file,dtype=float,delimiter=',')

Django零基礎入門之自定義過濾器及模板中的使用

目錄 分析django內建的模板過濾器 通過分析可以將內建的過濾器理解為 乙個帶有乙個或兩個引數的python函式 第乙個 通過自定義過濾器實現內建過濾器lower！無引數 在templatetags模組裡，建立乙個py檔案，編寫自定義過濾器，檔名稱可以隨便定，這裡我用common extras.p...

paddlehub自定義資料集

參考位址 在paddlehub中的例子需要構建資料集。demo中的 如下 dataset hub.dataset.chnsenticorp 當替換為自定義資料集時，首先需要將自己的資料集轉換為如下形式。dataset demodataset dataset dir model path from f...

Pytorch 自定義資料集

pytorch將資料集的處理過程標準化。繼承dataset類 pytorch中提供了torch.utils.data.dataset抽象類，使用時需要繼承這個類，並重寫 len 和 geiitem 函式。增加資料變換 pytorch提供了torchvision.transforms可以比較方便進行影...