獲取minist資料並轉換成lmdb

2021-09-07 15:27:34 字數 943 閱讀 8702

caffe本身是沒有資料集的,但在data目錄下有獲取資料的一些指令碼。mnist,乙個經典的手寫數字庫,包含60000個訓練樣本和10000個測試樣本,每個樣本為28*28大小的黑白,手寫數字為0-9,因此分為10類。

1.獲取資料

sudo

sh ./data/mnist/get_mnist.sh

這個是在caffe的目錄下執行的。執行成功後,在caffe/data/mnist/目錄下有四個檔案:

train-images-idx3-ubyte:訓練集樣本 (9912422 bytes) 

train-labels-idx1-ubyte: 訓練集對應標註 (28881 bytes) 

t10k-images-idx3-ubyte: 測試集 (1648877 bytes)

t10k-labels-idx1-ubyte: 測試集對應標註 (4542 bytes)

這些資料不能在caffe中直接使用,需要轉換成lmdb資料

2.轉換成lmdb資料

sudo

sh ./examples/mnist/create_mnist.sh

這個也是在caffe的目錄下執行的。但執行過程**現了以下錯誤:

這是因為這個指令碼本身要呼叫convert_mnist_data的二進位制檔案,需要將convert_mnist_data編譯。我使用的caffe並沒有編譯。

caffe編譯之後生成build資料夾,convert_mnist_data.bin就在build資料夾裡。

使用編譯過後的caffe就能正常轉換了:

python讀取pdf檔案並轉換成txt檔案

官網 文件中英文pdf都可以,而且處理速度很快,一秒可以處理10頁左右 python2 pip install pdfminerpython3 pip install pdfminer3kpdf2txt.py from pdfminer.pdfparser import pdfparser,pdfd...

php獲取資料轉換成json格式

header content type text html charset utf 8 con mysql connect localhost root 123456 mysql select db style mysql query set names utf8 sql select from t...

python 迴圈讀取txt文件 並轉換成csv

coding utf 8 created on fri jul 29 15 49 06 2016 author user import os 從檔案中讀取某一行 linecache.checkcache可以重新整理cache linecache可以快取某一行的資訊 import linecache ...