減少申請多個url的時間 方法

2021-10-18 10:41:05 字數 527 閱讀 5748

from multiprocessing.dummy import pool
def get_video_data(dic):#傳入的字典

data = requests.get(url=dic["url"], headers=headers).content

print('downloading')

#持久化儲存

with open('dic["name"]','wb') as fp:

fp.write(data)

print(dic["name"]+' finish!!!')

#使用執行緒池

pool=pool(len(urls)) #需要分配的次數,urls為包含多個字典的列表

pool.map(get_video_data,urls)#引數一為執行函式,引數二為執行函式所需引數,一般為可迭代物件

pool.close()

pool.join()

減少配置的方法

一種是抽象的方式.一種自動裝配的方式.抽象的方式 通過標籤將公共的配置提取出來,然後指定標籤中的abstract屬性為true 在其他標籤中指定其parent即可 如有兩個bean,如下 public class bean3 private int id private string name pr...

怎樣減少無效URL的爬行和索引

少年老成的雲晨守望同學 題外話 少年老成是好事哈。我20多歲時人家說我像40歲,我40多歲時好多人說我像30多,男人20到50歲可以做到基本乙個樣子 貼了個帖子 透過京東 看國內一線b2c s通病。建議先看那個帖子再回來看本帖,不然不容易明白下面在說什麼。簡單說,帖子指出乙個嚴重而且現實的seo問題...

減少SQL日誌的方法

一 分享 解決sql日誌增大的辦 望置頂 假設test2為資料庫名稱 在查詢分析器中執行 backup log muonline with no log backup log muonline with truncate only dbcc shrinkdatabase muonline 將上面的語...