用python學爬蟲最大的好處就是python有很多實用庫，免去了我們自己造輪子的環節，那麼找哪些輪子呢？python爬蟲有兩個比較實用的庫，requests和beautiful soup。我認為學好這兩個庫，python爬蟲也就學的差不多了。
beautiful soup 是乙個可以從html或xml檔案中提取資料的python庫.它能夠通過你喜歡的轉換器實現慣用的文件導航,查詢,修改文件的方式.beautiful soup會幫你節省數小時甚至數天的工作時間.requests是python上一類http庫，它可以向伺服器發起請求，並獲取響應，完成網頁訪問這一步。
beautiful soup可以讓我們對獲取的響應進行解析，相當於我開啟瀏覽器找到目標內容。
正如我在當我們寫爬蟲的時候，我們實際在做什麼？中寫的，爬蟲的核心無非是訪問網頁並提取內容，因此這兩個庫也是我用python學習爬蟲的核心。
下面就是使用兩者所建立的乙個非常的迷你的爬蟲。你或許不會認同，但是他的確體現了爬蟲的核心：獲取請求網頁，並提取資訊。
# 匯入所需庫
import requests
from bs4 import beautifulsoup
# 向伺服器發起request，得到響應
url = ''
官方文件永遠是最好的教程，你能從這裡面找到更詳細的內容。使用scrapy這個強大的python爬蟲框架可以讓你事半功倍，安利一下我寫的。
爬蟲兩個問題
乙個python的爬蟲，爬取，出現以下報錯 requests.exceptions.connectionerror connection aborted.error 54,connection reset by peer 不是大問題，可能因為訪問過於頻繁，通過忽略可以解決，參考此 有說原因 mac ...
python爬蟲 兩個簡單的小例子
import requests url value input search headers param response requests.get url url,params param,headers headers response.encoding utf 8 亂碼 page conten...
兩個很實用的Python裝飾器詳解
目錄 這個函式的作用在於可以給任意可能會hang住的函式新增超時功能，這個功能在編寫外部api呼叫 網路爬蟲 資料庫查詢的時候特別有用 timeout裝飾器的 如下 import signal,functools 下面會用到的兩個庫 class timeouterror exception pass...