python3多程序爬蟲(第一卷)

2022-03-17 20:51:05 字數 664 閱讀 6510

程序這個東西概念很多人很模糊,而多程序併發爬蟲也算是爬蟲幾大難點,現在我先說下程序的基本使用:

開啟乙個python檔案

函式sayhi就是乙個程序而且是主程序

現在呢我想迴圈輸出name,n

正常我只要寫一段迴圈就可以正常順序逐條輸出,也就是迴圈m次,所用的輸出時間就是2m秒

我現在想讓這些資料一起輸出怎麼辦,也就是讓當前函式同時執行且輸出內容不同,那麼現在就需要建立子程序了,並且併發執行:

話不多說**獻上

這樣就可以併發執行了,注意啊 程序數量==你cpu的數量 測試的函式不會報錯

現在進行下多程序爬蟲,以爬取糗事百科的段子為例:

定義爬取函式

我的cpu是4個 所以就開四個程序 你要不信你用個8個試試,乙個程序爬取乙個頁面速率夠快的 ,有人會問我要爬取20個頁面怎麼執行 那簡單 乙個程序對應5個頁面看你前面定義函式邏輯怎麼寫

python3下應用pymysql(第一卷)

程式設計不會運算元據庫,就像男人做做了太監,人生不完整,我不想人生不完整,寫下pymysql的使用總結 先做下準備工作,準備下資料表,由於是練習操作,所以先做個簡單的資料表 建立單獨的乙個庫 再建立表 建立資料表,圖中紅圈必須引用回滾事件,以保持資料的完整性 下面開始編寫python 建立連線物件 ...

選集 第一卷

由武漢疫情事件引發的關注中國政治制度,新聞等,開始感嘆各種事物都是殊途同歸,於是選擇閱讀 選集。1.打勝仗就驕傲,打敗仗就消極。2.上級機關要明了下級機關的情況和群眾生活的情況,成為正確指導的客觀基礎.擴充套件到科研上,個人作為上級,領域知識作為群眾,要通過大量粗讀文獻了解群眾情況 客觀基礎,從而能...

程式設計藝術第一卷(1)學習筆記

1.1 演算法 演算法e 歐幾里德演算法 給定兩個正整數m和n,求他們的最大公因子,即能夠同時整除m和n的最大正整數。e0 確保m n 如果mn.e1.求餘數 以n除m並令r為所得餘數。0 r n e2.餘數為零?若r 0,演算法結束,n即為答案。e3.減少 置m n,n r,並返回步驟e1.乙個演...