python 爬取糗事百科

step 1：構建乙個提取糗事百科笑話的函式

import urllib2    

import urllib 
import re 
import thread 
import time 
import sys 
reload(sys) 
sys.setdefaultencoding("utf-8") 
defgetpage
(page): 
myurl = ""+ str(page) + "/?s=4936484" 
user_agent = 'mozilla/4.0 (compatible; msie 5.5; windows nt)' 
headers = 
req = urllib2.request(myurl, headers = headers) 
myresponse = urllib2.urlopen(req) 
mypage = myresponse.read() 
unicodepage = mypage.decode("utf-8") 
myitems = re.findall('.*?(.*?).*?
',unicodepage,re.s) 
items=
for item in myitems:
print item + '\n'
#return items 
if __name__=="__main__":
a=getpage(2)
print a

tips：如有報錯，注意下縮排關係

import urllib2    

import urllib 
import re 
import thread 
import time 
import sys 
reload(sys) 
sys.setdefaultencoding("utf-8") 
class
spider_qs:
def__init__
(self): 
self.page = 1 
self.pages = 
self.enable = true
#將每一頁的段子提取出來，新增到列表中並且返回列表 
defgetpage
(self,page): 
myurl = ""+ str(page) + "/?s=4936484" 
user_agent = 'mozilla/4.0 (compatible; msie 5.5; windows nt)' 
headers = 
req = urllib2.request(myurl, headers = headers) 
myresponse = urllib2.urlopen(req) 
mypage = myresponse.read() 
unicodepage = mypage.decode("utf-8") 
myitems = re.findall('.*?(.*?).*?
',unicodepage,re.s) 
items=
for item in myitems:
#print item + '\n'
return items 
#用於載入新的段子,保證self.pages裡面有2頁的爬取內容
defloadpage
(self):
# 如果使用者未輸入quit則一直執行 
while self.enable: 
# 如果pages陣列中的內容小於2個 
if len(self.pages) < 2: 
try: 
# 獲取新的頁面中的段子們,從第1頁開始 
mypage = self.getpage(self.page) 
self.page += 1 
except: 
print
'無法鏈結糗事百科！'
else: 
time.sleep(1) 
return self.pages 
if __name__=="__main__":
a=spider_qs()
b=a.loadpage()
print b

tips：執行緒的用法不太會

import urllib2    

import urllib 
import re 
import thread 
import time 
import sys 
reload(sys) 
sys.setdefaultencoding("utf-8") 
class
spider_qs:
def__init__
(self): 
self.page = 1 
self.pages = 
self.enable = false
#將每一頁的段子提取出來，新增到列表中並且返回列表 
defgetpage
(self,page): 
myurl = ""+ str(page) + "/?s=4936484" 
user_agent = 'mozilla/4.0 (compatible; msie 5.5; windows nt)' 
headers = 
req = urllib2.request(myurl, headers = headers) 
myresponse = urllib2.urlopen(req) 
mypage = myresponse.read() 
unicodepage = mypage.decode("utf-8") 
myitems = re.findall('.*?(.*?).*?
',unicodepage,re.s) 
items=
for item in myitems:
#print item + '\n'
return items 
#用於載入新的段子,保證self.pages裡面有2頁的爬取內容
defloadpage
(self):
# 如果使用者未輸入quit則一直執行 
while self.enable: 
# 如果pages陣列中的內容小於2個 
if len(self.pages) < 2: 
try: 
# 獲取新的頁面中的段子們,從第1頁開始 
mypage = self.getpage(self.page) 
self.page += 1 
except: 
print
'無法鏈結糗事百科！'
else: 
time.sleep(1) 
return self.pages 
#啟動該類
defstart
(self): 
self.enable = true 
page = self.page #為1
print
u'正在載入中請稍候......'
# 新建乙個執行緒在後台載入段子並儲存 
thread.start_new_thread(self.loadpage,()) #help(thread.start_new_thread) 
#----------- 載入處理糗事百科 ----------- 
while self.enable: 
# 如果self的page陣列中存有元素 
if self.pages: 
nowpage = self.pages[0] #[【】,【】],將第乙個列表賦值給nowpage
del self.pages[0] #刪除self.pages,則loadpage函式將繼續往第3頁讀取段子 
self.showpage(nowpage,page) 
page += 1
defshowpage
(self,nowpage,page):
for items in nowpage: 
print
u'第%d頁' % page , items 
myinput = raw_input() 
if myinput == "quit": #輸入quit，則退出程式。否則按任意鍵都能繼續
self.enable = false
break
if __name__=="__main__":
print
u'請按下回車瀏覽今日的糗百內容：'
raw_input('') #此處輸入回車鍵即可不斷往下讀取糗百段子
a=spider_qs()
myqb=a.start()

Python爬取糗事百科

一 引入模組 因為urlopen功能比較簡單，所以設定 ip需引入proxyhandler和build opener模組，ip的獲取可以上西祠 查詢 import re from urllib.request import request,build opener,proxyhandler base...

Python 爬取糗事百科

coding utf 8 import urllib2 import urllib import re class qiushi def init self self.page 1 從網頁獲取糗事 def getqiushis self,page url page 偽裝瀏覽器 user agent ...

Python 爬取糗事百科

coding utf 8 import urllib2 import urllib import re class qiushi def init self self.page 1 從網頁獲取糗事 def getqiushis self,page url page 偽裝瀏覽器 user agent ...