Python實現簡單爬蟲

簡單爬蟲構架 

時序圖 

管理待抓取url集合和已抓取url集合 

通過兩個列表（已抓取url列表，未抓取url的列表）防止重複抓取、防止迴圈抓取 

request.add_header("user-agent","mozilla/5.0") #偽裝成火狐瀏覽器

urllib2.install_opener(opener) #使urllib2增加cookie的處理

爬取之前首先要對目標網頁進行分析，如下: 

最後貼一下排程器的**：

import url_manager, html_**********, html_parser, html_outputer 

test.sayhello('chm')
class
spidermain:
def__init__
(self):
self.urls = url_manager.urlmanager()
self.********** = html_**********.html**********()
self.parser = html_parser.htmlparser()
self.outputer = html_outputer.htmloutputer()
defcraw
(self, root_url):
count = 1
self.urls.add_new_url(root_url)
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url()
print
'craw %d: %s' % (count,new_url)
html_cont = self.**********.download(new_url)
new_urls, new_data = self.parser.parse(new_url, html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
if count == 100:
break
count = count + 1
except ioerror, e:
print e
print
'craw failed'
self.outputer.output_html()
if __name__ == '__main__':
root_url = ''
spider = spidermain()
spider.craw(root_url)

注意：因為網頁結果是在不斷公升級和變化的，如果執行過程中發生異常，請重新分析目標頁面後修改程式，才能正確爬取。

Python實現簡單爬蟲

簡單爬蟲構架 時序圖 管理待抓取url集合和已抓取url集合 通過兩個列表 已抓取url列表，未抓取url的列表 防止重複抓取 防止迴圈抓取 request.add header user agent mozilla 5.0 偽裝成火狐瀏覽器 urllib2.install opener opene...

python實現簡單爬蟲 Python實現簡單爬蟲

簡介 爬蟲架構 1 url管理器 3 網頁分析器 4 爬蟲呼叫器 5 價值資料使用 爬蟲實現 1 排程器實現 coding utf 8 import url manager import html import html parser import html outputer import url ...

python實現簡單爬蟲功能

我們最常規的做法就是通過滑鼠右鍵，選擇另存為。但有些滑鼠右鍵的時候並沒有另存為選項，還有辦法就通過就是通過截圖工具擷取下來，但這樣就降低的清晰度。好吧 其實你很厲害的，右鍵檢視頁面源 我們可以通過python 來實現這樣乙個簡單的爬蟲功能，把我們想要的 爬取到本地。下面就看看如何使用 python ...