paddlepaddle定義資料讀取器

2021-10-20 01:25:50 字數 842 閱讀 3090

當檔案資料含有大量資料時,無法一次性載入到記憶體中,需要分批次操作訓練資料。

import numpy as np

import paddle

# 自定義reader_creator,從文字中讀取一行資料

defreader_creator

(filepath)

:def

reader()

:with

open

(filepath,

'r')

as f:

lines = f.readlines(

)for line in lines:

yield line

return reader

reader = reader_creator(

'./car.txt'

)# for line in reader():

# print(line, end='')

# 從上乙個reader中隨機方式讀取資料

shuffle_reader = paddle.reader.shuffle(reader,

10# 每10個樣本打亂一次

)# for line in shuffle_reader():

# print(line, end='')

# 從上乙個隨機讀取器中分批次讀取資料

batch_reader = paddle.batch(shuffle_reader,

4# 批次大小

)# for lines in batch_reader():

# print(lines, '')

PaddlePaddle常用映象

paddlepaddle映象 該映象整合了paddlepaddle深度學習平台,通過利用paddlepaddle提供的api可以進行神經網路配置 模型訓練等工作。獲取映象 docker pull paddlepaddle paddle 啟動容器 docker run it paddlepaddle ...

初次體驗paddlepaddle

初次體驗 paddlepaddle 這次的疫情讓很多大學生都只能呆在家裡上網課,而我就不一樣了,我需要待在家裡,但不需要上網課。因為這一學期我應該在一所高中實習當一名資訊科技老師,所有待在家裡實在無聊,所以只能用學習來打發時間,因為只有學習才能讓我變得快樂。本學期的計畫原本是安靜的當一名資訊科技老師...

安裝paddlepaddle問題

問題 importerror libmklml intel.so cannot open shared object file no such file or directory 解決方法 第一步 確定你機器是否有 libmklml intel.so,用以下命令 find name libmklml...