url管理器：
用來管理要抓取的url和已抓取的url,防止重複抓取和迴圈抓取，url管理器的五個最小功能:
1、新增url到容器中
2、獲取乙個url
3、判斷url是否已在容器中
4、判斷是否還有待爬取的url
5、將待爬取的url移到已爬取的url
2、新增data和http header
3、新增特殊場景的處理器
網頁解析器：
從網頁中提取有價值資料的工具，常用的網頁解析器有以下三種，1、正規表示式，2、html.parser(自帶的模組)，3、beautiful soup(第三方的外掛程式)，4、lxml；前面一種是基於字串的解析，後面的三種是基於一種機構化的解析(dom)。
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))
python爬蟲 貪婪模式和非貪婪模式舉例
import re 貪婪模式 是匹配0次或者多次，b被匹配到的時候，要匹配最大次數 只對b產生作用 pattern1 re.compile ab result1 pattern1.findall ababbc print result1 非貪婪模式，在匹配成功的前提下，更少的匹配 因為？是對 進行修...
python爬蟲 非同步爬蟲
壞處 無法無限制的開啟多執行緒或者多程序。執行緒池 程序池 適當使用 使用非同步實現高效能的資料爬取操作 人多力量大 環境安裝 pip install aiohttp 使用該模組中的clientsession 2表示同時存在兩個協程 pool pool 2 urls for i in range 1...
Python爬蟲 初識爬蟲
模擬瀏覽器開啟網頁，獲取網頁中我們想要的那部分資料 瀏覽器開啟網頁的過程 當你在瀏覽器中輸入位址後，經過dns伺服器找到伺服器主機，向伺服器傳送乙個請求，伺服器經過解析後傳送給使用者瀏覽器結果，包括html,js,css等檔案內容，瀏覽器解析出來最後呈現給使用者在瀏覽器上看到的結果 瀏覽器傳送訊息給...