tensorflow高效讀取資料的方法：關於tensorflow讀取資料，官網給出了三種方法：供給資料(feeding)： 在tensorflow程式執行的每一步， 讓python**來供給資料。 從檔案讀取資料： 在tensorflow圖的起始， 讓乙個輸入管線從檔案中讀取資料。 預載入資料： 在tensorflow圖中定義常量或變數來儲存所有資料(僅適用於資料量比較小的情況)。
對於資料量較小而言，可能一般選擇直接將資料載入進記憶體，然後再分batch輸入網路進行訓練（tip:使用這種方法時，結合yield 使用更為簡潔，大家自己嘗試一下吧，我就不贅述了）。但是，如果資料量較大，這樣的方法就不適用了，因為太耗記憶體，所以這時最好使用tensorflow提供的佇列queue，也就是第二種方法 從檔案讀取資料。對於一些特定的讀取，比如csv檔案格式，官網有相關的描述，在這兒我介紹一種比較通用，高效的讀取方法（官網介紹的少），即使用tensorflow內定標準格式——tfrecords
太長不看，直接看原始碼請猛戳我的github，記得加星哦。
（1）tfrecords
tfrecords其實是一種二進位制檔案，雖然它不如其他格式好理解，但是它能更好的利用記憶體，更方便複製和移動，並且不需要單獨的標籤檔案（等會兒就知道為什麼了）… …總而言之，這樣的檔案格式好處多多，所以讓我們用起來吧。
tfrecords檔案包含了tf.train.example 協議記憶體塊(protocol buffer)(協議記憶體塊包含了字段 features)。我們可以寫一段**獲取你的資料， 將資料填入到example協議記憶體塊(protocol buffer)，將協議記憶體塊序列化為乙個字串， 並且通過tf.python_io.tfrecordwriter 寫入到tfrecords檔案。
從tfrecords檔案中讀取資料， 可以使用tf.tfrecordreader的tf.parse_single_example解析器。這個操作可以將example協議記憶體塊(protocol buffer)解析為張量。
接下來，讓我們開始讀取資料之旅吧~
（2）生成tfrecords檔案
我們使用tf.train.example來定義我們要填入的資料格式，然後使用tf.python_io.tfrecordwriter來寫入。import os
import tensorflow as tf
from pil import image
cwd = os.getcwd()
'''此處我載入的資料目錄如下：
img_raw = img.tobytes() #將轉化為原生bytes
example = tf.train.example(features=tf.train.features(feature=))
writer.write(example.serializetostring()) #序列化為字串
writer.close()關於example feature的相關定義和詳細內容，我推薦去官網檢視相關api。
基本的，乙個example中包含features，features裡包含feature（這裡沒s）的字典。最後，feature裡包含有乙個 floatlist， 或者bytelist，或者int64list
就這樣，我們把相關的資訊都存到了乙個檔案中，所以前面才說不用單獨的label檔案。而且讀取也很方便。
for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"):
example = tf.train.example()
example.parsefromstring(serialized_example)
image = example.features.feature['image'].bytes_list.value
label = example.features.feature['label'].int64_list.value
# 可以做一些預處理之類的
print image, label使用佇列讀取
一旦生成了tfrecords檔案，接下來就可以使用佇列（queue）讀取資料了。
def read_and_decode(filename):
#根據檔名生成乙個佇列
filename_queue = tf.train.string_input_producer([filename])
reader = tf.tfrecordreader()
_, serialized_example = reader.read(filename_queue) #返回檔名和檔案
features = tf.parse_single_example(serialized_example,
features=)
img = tf.decode_raw(features['img_raw'], tf.uint8)
img = tf.reshape(img, [224, 224, 3])
img = tf.cast(img, tf.float32) * (1. / 255) - 0.5
label = tf.cast(features['label'], tf.int32)
return img, label之後我們可以在訓練的時候這樣使用
img, label = read_and_decode("train.tfrecords")
#使用shuffle_batch可以隨機打亂輸入
img_batch, label_batch = tf.train.shuffle_batch([img, label],
batch_size=30, capacity=2000,
min_after_dequeue=1000)
init = tf.initialize_all_variables()
with tf.session() as sess:
sess.run(init)
threads = tf.train.start_queue_runners(sess=sess)
for i in range(3):
val, l= sess.run([img_batch, label_batch])
#我們也可以根據需要對val， l進行處理
#l = to_categorical(l, 12)
print(val.shape, l)至此，tensorflow高效從檔案讀取資料差不多完結了。
恩？等等…什麼叫差不多？對了，還有幾個注意事項：
第一，tensorflow裡的graph能夠記住狀態（state），這使得tfrecordreader能夠記住tfrecord的位置，並且始終能返回下乙個。而這就要求我們在使用之前，必須初始化整個graph，這裡我們使用了函式tf.initialize_all_variables()來進行初始化。
第二，tensorflow中的佇列和普通的佇列差不多，不過它裡面的operation和tensor都是符號型的（symbolic），在呼叫sess.run()時才執行。
第三， tfrecordreader會一直彈出佇列中檔案的名字，直到隊列為空。
總結生成tfrecord檔案 定義record reader解析tfrecord檔案 構造乙個批生成器（batcher） 構建其他的操作 初始化所有的操作 啟動queuerunner。
TensorFlow高效讀取資料的方法
tfrecords其實是一種二進位制檔案，用來儲存 tf.train.example協議記憶體塊 protocol buffer 乙個example中包含features，features裡包含乙個名字為feature的字典，裡面是 key value 對,value是 乙個floatlis byt...
tensorflow高效讀取資料之tfrecord
tensorflow提供了一種統一的格式來儲存資料，這個格式就是tfrecord，接下來介紹如何使用tfrecord來統一輸入資料的格式。tfrcord檔案中的資料都是通過tf.train.example protocol buffer的格式來儲存的，以下 給出了tf.train.example的定...
Tensorflow高效讀取資料的方法
最新上傳的mcnn中有完整的資料讀寫示例，可以參考。關於tensorflow讀取資料，官網給出了三種方法 對於資料量較小而言，可能一般選擇直接將資料載入進記憶體，然後再分batch輸入網路進行訓練 tip 使用這種方法時，結合yield使用更為簡潔，大家自己嘗試一下吧，我就不贅述了 但是，如果資料量...