乙個簡單的爬蟲可以由一下幾部分構成：
1.爬蟲排程端
啟動，停止，監控運**況，也就是整個爬蟲的main。
2.url管理器
管理待爬取和已爬取的url，可以將已經獲得的url儲存在記憶體或者關係型資料庫中或者快取資料庫中。記憶體中儲存可以用set()語句可去除重複資料；用關係型資料庫儲存時設計兩個列，其中一列記錄url（主鍵），另一列記錄是否爬取過；大公司會採取redis這種快取資料庫進行儲存，使用其中的set結構（完全不了解）。
4.網頁解析器
一方面解析出有價值的資料，一方面解析出其他關聯url，傳回url管理器進行迴圈，可以使用beautifulsoup4實現。
其執行流程如下所示：
Python開發簡單爬蟲 學習筆記
1.爬蟲簡介 爬蟲是能夠自動抓取網際網路資訊的程式 2.簡單爬蟲架構 3.url管理器 url管理器 管理待抓取url集合和已抓取url集合 防止重複抓取 防止迴圈抓取 urllib2 python官方基礎模組 requests 第三方包更強大，後期推薦使用 import urllib2 直接請求 ...
Python簡單爬蟲學習
爬蟲 一段自動抓取網際網路資訊的程式。爬蟲排程器 程式入口，主要負責爬蟲程式的控制 url管理器 管理帶抓取url集合和已抓取的url集合。url實現的功能有 1.新增新的url到待爬去集合 2.判斷待新增url是否已存在 3.判斷是否還有待爬的url，將url從待爬集合移動到已爬集合 url的儲存...
簡單學習python爬蟲
學爬蟲之前首先知道什麼是爬蟲 ret.content 按照位元組顯示 ret.text 按照字串顯示 注 以上內容跟下面無關 1.新建乙個python專案spyder 名字自起 2.點選file中的settings 3.點選project spyder下的project interpreter 4....