tensorflow儲存檔案格式總結

2021-10-07 14:06:02 字數 380 閱讀 4727

一、背景

tensorflow還是非常靈活的,但是有門檻的,門檻有兩點api比較多,理解tensorflow的思維(先建立圖,然後建立session,然後運算,pytorch是不用這樣),這篇文章說說儲存tensorflow儲存的模型

tensorflow的儲存分為四種

1. checkpoint模式

# 乙個完整的模型儲存包含下面四個檔案

checkpoint: 具有最近檢查點列表的協議快取區

.data: 儲存模型中的變數

.index: 標識檢查點

.meta: 儲存模型中計算圖的結構資訊

Tensorflow中TFRecord格式介紹

由於資料的 複雜性以及每乙個樣例中的資訊較為豐富,從而需要一種統一的格式來儲存資料,然而在tensorflow中提供了tfreord的格式來統一輸入資料的格式。tfrecord檔案中的資料是通過tf.train.example protoclo buffer的格式儲存 tf.train.exampl...

tensorflow 檔案管理

目錄 1.如何pai上讀取資料 2.如何減少讀取的費用開支 3.使用oss需要注意的問題 1.在pai上讀取資料 python不支援讀取oss的資料,故所有呼叫 python open os.path.exist 等檔案,資料夾操作的函式的 都無法執行.如scipy.misc.imread nump...

Tensorflow檔案讀取

tensorflow讀取檔案的特點 讀取檔案資料量特別大 需要在樣本集中隨機讀取n個樣本,每批次讀取的物件不一樣 隨機,分批次 需要讀取的快 使用tensorflow的執行緒,不使用python的執行緒 全域性直譯器鎖 tensorflow檔案讀取的步驟 將要讀取的檔案放入檔名佇列中 因為用執行緒來...