Paddle如何加快讀取資料的速度?

2021-09-12 02:59:25 字數 1391 閱讀 1580

from pil import image

import numpy as np

import random

def(sample)

: img, label = sample

img = image.

open

(img)

r1 = random.random(

)if r1 >

0.5:

img = img.transpose(image.flip_left_right)

r2 = random.random(

)if r2 >

0.5:

img = img.transpose(image.flip_top_bottom)

img = np.array(img)

.astype(np.float32)

#轉成chw

img = img.transpose((2

,0,1

))img = img[(2

,1,0

),:,

:]/255

.return img,

int(label)

paddle讀入資料時使用pyreader物件而不是常見的executor.run(feed=...)方法來讀取資料,pyreader物件讀取資料使用的是非同步方式,讀取的速度回快上許多。示例**如下:

import paddle.fluid as fluid

train_py_reader = fluid.layers.py_reader(capacity=64,

shapes=[(

-1,3

,224

,224),

(-1,

1)],

dtypes=

['float32'

,'int64'],

name=

'train'

, use_double_buffer=

true

)test_py_reader = fluid.layers.py_reader(capacity=64,

shapes=[(

-1,3

,224

,224),

(-1,

1)],

dtypes=

['float32'

,'int64'],

name=

'test'

, use_double_buffer=

true

)

如何加快mysql匯入資料的速度

我們在初始化資料時,如果資料量比較大的話,比如乙個初始化 sql檔案有3g,匯入的速度一般比較慢,為了加速匯入的速度,我們可以通過修改2個引數配置 針對儲存引擎為innerdb 1 臨時關掉innerdb的寫日誌功能 set sql log bin off 2 commit時,不進行flush 寫入...

如何加快exp imp的速度

oracle9i 或 10g 1.記憶體中關係到exp的速度的是 large pool size 適當設定大一些 2.適當加大exp 時的 buffer itpub個人空間 4f wiffg5u 2.direct y 快,是因為是直接路徑,資料不需要經過記憶體進行整合和檢查.1 exp調優 1.1 ...

如何加快老闆的決策效率?

如何加快老闆的決策效率?如何加快老闆的決策效率?2010 12 30 07 36 49 星期四 文 胡漢陽 在日常經營管理中,經理人常常有這樣乙個體會 凡是可以由自己作主決定的事,往往比較都好辦,難辦的是需要由 老闆 決定的事,這倒不是說由老闆決策的事難度大 不好辦,而是由老闆決策的事,往往會被延遲...