Tensorflow讀取資料

2021-07-25 20:44:28 字數 4413 閱讀 7616

關於tensorflow讀取資料,官網給出了三種方法:

對於資料量較小而言,可能一般選擇直接將資料載入進記憶體,然後再分batch輸入網路進行訓練(tip:使用這種方法時,結合yield使用更為簡潔,大家自己嘗試一下吧,我就不贅述了)。但是,如果資料量較大,這樣的方法就不適用了,因為太耗記憶體,所以這時最好使用tensorflow提供的佇列queue,也就是第二種方法 從檔案讀取資料。對於一些特定的讀取,比如csv檔案格式,官網有相關的描述,在這兒我介紹一種比較通用,高效的讀取方法(官網介紹的少),即使用tensorflow內定標準格式——tfrecords

tfrecords其實是一種二進位制檔案,雖然它不如其他格式好理解,但是它能更好的利用記憶體,更方便複製和移動,並且不需要單獨的標籤檔案(等會兒就知道為什麼了)… …總而言之,這樣的檔案格式好處多多,所以讓我們用起來吧。

tfrecords檔案包含了tf.train.example協議記憶體塊(protocol buffer)(協議記憶體塊包含了字段features)。我們可以寫一段**獲取你的資料, 將資料填入到example協議記憶體塊(protocol buffer),將協議記憶體塊序列化為乙個字串, 並且通過tf.python_io.tfrecordwriter寫入到tfrecords檔案。

從tfrecords檔案中讀取資料, 可以使用tf.tfrecordreadertf.parse_single_example解析器。這個操作可以將example協議記憶體塊(protocol buffer)解析為張量。

接下來,讓我們開始讀取資料之旅吧~

我們使用tf.train.example來定義我們要填入的資料格式,然後使用tf.python_io.tfrecordwriter來寫入。

import os

import tensorflow as tf

from pil import image

cwd = os.getcwd()

'''此處我載入的資料目錄如下:

img_raw = img.tobytes() #將轉化為原生bytes

example = tf.train.example(features=tf.train.features(feature=))

writer.write(example.serializetostring()) #序列化為字串

writer.close()

關於examplefeature的相關定義和詳細內容,我推薦去官網檢視相關api。

基本的,乙個example中包含featuresfeatures裡包含feature(這裡沒s)的字典。最後,feature裡包含有乙個floatlist, 或者bytelist,或者int64list

就這樣,我們把相關的資訊都存到了乙個檔案中,所以前面才說不用單獨的label檔案。而且讀取也很方便。

for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"):

example = tf.train.example()

example.parsefromstring(serialized_example)

image = example.features.feature['image'].bytes_list.value

label = example.features.feature['label'].int64_list.value

# 可以做一些預處理之類的

print image, label

一旦生成了tfrecords檔案,接下來就可以使用佇列(queue)讀取資料了。

def

read_and_decode

(filename):

#根據檔名生成乙個佇列

filename_queue = tf.train.string_input_producer([filename])

reader = tf.tfrecordreader()

_, serialized_example = reader.read(filename_queue) #返回檔名和檔案

features = tf.parse_single_example(serialized_example,

features=)

img = tf.decode_raw(features['img_raw'], tf.uint8)

img = tf.reshape(img, [224, 224, 3])

img = tf.cast(img, tf.float32) * (1. / 255) - 0.5

label = tf.cast(features['label'], tf.int32)

return img, label

之後我們可以在訓練的時候這樣使用

img, label = read_and_decode("train.tfrecords")

#使用shuffle_batch可以隨機打亂輸入

img_batch, label_batch = tf.train.shuffle_batch([img, label],

batch_size=30, capacity=2000,

min_after_dequeue=1000)

init = tf.initialize_all_variables()

with tf.session() as sess:

sess.run(init)

threads = tf.train.start_queue_runners(sess=sess)

for i in range(3):

val, l= sess.run([img_batch, label_batch])

#我們也可以根據需要對val, l進行處理

#l = to_categorical(l, 12)

print(val.shape, l)

至此,tensorflow高效從檔案讀取資料差不多完結了。

恩?等等…什麼叫差不多?對了,還有幾個注意事項:

第一,tensorflow裡的graph能夠記住狀態(state),這使得tfrecordreader能夠記住tfrecord的位置,並且始終能返回下乙個。而這就要求我們在使用之前,必須初始化整個graph,這裡我們使用了函式tf.initialize_all_variables()來進行初始化。

第二,tensorflow中的佇列和普通的佇列差不多,不過它裡面的operationtensor都是符號型的(symbolic),在呼叫sess.run()時才執行。

第三,tfrecordreader會一直彈出佇列中檔案的名字,直到隊列為空。

生成tfrecord檔案

定義record reader解析tfrecord檔案

構造乙個批生成器(batcher

構建其他的操作

初始化所有的操作

啟動queuerunner

例子**請戳我的github,如果覺得對你有幫助的話可以加個星哦。

tensorflow 資料讀取篇

最近,心血來潮搞一搞tensorflow,看著 tensorflow實戰 碼了幾個簡單的小網路,自以為蠻簡單啊,當自己開始從頭開始構建自己網路時候,就開始懷疑人生了。自己的資料讀取都是乙個大問題,今天解決了使用tensorflow讀取csv文字資料,寫到部落格做個筆記。usr bin env pyt...

Tensorflow檔案讀取

tensorflow讀取檔案的特點 讀取檔案資料量特別大 需要在樣本集中隨機讀取n個樣本,每批次讀取的物件不一樣 隨機,分批次 需要讀取的快 使用tensorflow的執行緒,不使用python的執行緒 全域性直譯器鎖 tensorflow檔案讀取的步驟 將要讀取的檔案放入檔名佇列中 因為用執行緒來...

TensorFlow高效讀取資料的方法

tfrecords其實是一種二進位制檔案,用來儲存 tf.train.example協議記憶體塊 protocol buffer 乙個example中包含features,features裡包含乙個名字為feature的字典,裡面是 key value 對,value是 乙個floatlis byt...