PyTorch學習筆記(二)劃分資料集

2021-10-23 05:33:01 字數 4615 閱讀 4315

environment

對於計算機視覺深度學習任務,對資料的處理包括

劃分資料集,將資料集劃分為劃分訓練集、驗證集、測試集;

預處理,對影象進行資料增強和標準化;

讀取,讀取乙個 batch 的資料輸入模型。

pytorch 讀取資料進行訓練時,要求資料按照特定的目錄結構放好,所以劃分資料集就是要將資料整理為特定的目錄格式。

到手的訓練影象資料集有時候並未是方便 pytorch 讀取的目錄格式。以 tinymind人民幣面值識別 任務的訓練集為例,共有 39620 張,train_face_value_label.csv 中為每張對應的標籤資訊

├── train

│ ├── 39620 images.jpeg

└── train_face_value_label.csv

編寫乙個 categorise.py 按類別存放到不同目錄中,形成以下目錄結構

# shutil.move 萬一卡住比較難辦

time_taken = time.time(

)- since

print

('time taken: m s'

.format

(time_taken //

60, time_taken %60)

)# time taken: 3m 0s

接著,對已經分類存放好的影象資料進行劃分。編寫乙個 split.py 拿出一部分放入 val 目錄中,作為驗證集。對於例子,設定訓練集 : 驗證集 = 99% : 1%

split.py 中的**可以如下

如果還需要劃分測試集,就再執行一次,改split_name變數值為test並且調整劃分比例split_pct即可。

FPGA設計之時序約束(二) 劃分時鐘域

本文針對intel fpga。在建立好所有的時鐘後,需要定義這些時鐘之間的關係。在預設情況下,timequest認為設計中所有的時鐘都是同步的,並把所有的時鐘都放在同乙個group裡。如果設計中有非同步時鐘,就需要用命令把非同步時鐘分組並定義出來。1.一般來說,由不同時鐘源 晶振 產生的,不論時鐘頻...

動規 二分 劃分數列

2.劃分數列 seq.pas c cpp 題目描述 給你乙個有n個元素的數列,要求把它劃分成k段,使每段元素和的最大值最小 輸入格式 第一行兩個正整數n,k 第二行為此數列ai 輸出格式 一行乙個數,為題目所求答案 樣例輸入 5 22 1 3 4 5 樣例輸出 資料規模 30 資料 n 30,k 1...

基本動態規劃題學習筆記與解析 8(劃分數問題)

這裡我們仍然用dp來求解 例 有n個無區別的物品,將其劃分成不超過m組,求出劃分方法數取模m的餘數 樣例輸入 n 4m 3 m 10000 輸出 4 1 1 2 1 3 2 2 4 這樣的劃分被稱作n的m劃分數。dp問題對於計算各種排列組合個數,概率或者期望之類的計算都非常有用,在此,我們定義如下陣...