編寫爬蟲遇到的問題總結

1，編碼問題：設定檔案編碼格式utf-8

2.連線超時：異常或者設定timeout

沒有設定timeout引數，結果在網路環境不好的情況下，時常出現read()方法沒有任何反應的問題，程式卡死在read()方法裡，搞了大半天，才找到問題，給urlopen加上timeout就ok了，設定了timeout之後超時之後read超時的時候會丟擲socket.timeout異常，想要程式穩定，還需要給urlopen加上異常處理，再加上出現異常重試，程式就完美了。

import urllib2 url='' fails = 0 while true: try: if fails >= 20: break req = urllib2.request(url) response = urllib2.urlopen(req, none, 3) page = response.read() except: fails += 1 print '網路連線出現問題, 正在嘗試再次請求: ', fails else: break

import urllib2
# r = urllib2.request("
")try:
print 111111111111111111
f = urllib2.urlopen(r, data=none, timeout=3)
print 2222222222222222
result = f.read()
print 333333333333333333
except exception,e:
print "444444444444444444---------" + str(e)
print "55555555555555"

import socket
socket.setdefaulttimeout(10.0) 
或者使用：httplib2 or timeout_urllib2

from urllib2 import urlopen
from threading import timer
url = "
"def handler(fh):
fh.close()
fh = urlopen(url)
t = timer(20.0, handler,[fh])
t.start()
data = fh.read() #如果二進位制檔案需要換成二進位制的讀取方式
t.cancel()

我的的的urllib2的的urlopen內。

urllib2.urlopen(' codego.net  timeout=1)

我該如何告訴python，如果到期應提高乙個自定義的錯誤？任何想法？

1. 有你想要極少數情況下except:。這樣做可以捕獲任何異常，它可以是難以除錯，以及它捕捉異常，包括systemexit和keyboardinterupt，它可以使你的程式煩人在非常簡單的，你會趕上urllib2.urlerror：

try:
urllib2.urlopen(" codego.net timeout = 1)
except urllib2.urlerror, e:
raise myexception("there was an error: %r" % e)

import urllib2
import socket
class myexception(exception):
pass
try:
urllib2.urlopen(" codego.net timeout = 1)
except urllib2.urlerror, e:
# for python 2.6
if isinstance(e.reason, socket.timeout):
raise myexception("there was an error: %r" % e)
else:
# reraise the original error
raise
except socket.timeout, e:
# for python 2.7
raise myexception("there was an error: %r" % e)

2. 在python 2.7.3：

import urllib2
import socket
class myexception(exception):
pass
try:
urllib2.urlopen(" codego.net timeout = 1)
except urllib2.urlerror as e:
print type(e) #not catch
except socket.timeout as e:
print type(e) #catched
raise myexception("there was an error: %r" % e)

3.url解析錯誤

使用異常處理，解析錯誤的url彈出異常，捕獲異常，continue，進行下個url的訪問

編寫爬蟲遇到的問題總結

爬蟲遇到的問題

Scrapy 簡單爬蟲中遇到的問題總結

編寫mblock遇到的問題

編寫爬蟲遇到的問題總結

爬蟲遇到的問題

Scrapy 簡單爬蟲中遇到的問題總結

編寫mblock遇到的問題

相關推薦