python爬蟲第一步 獲取頁面資料

第一步html頁面資料

最好是設定下頭部**資訊，不然伺服器檢查到你是用python請求的可能會把你**遮蔽掉

import urllib.request

class gethtml(object):
def __init__(self , url , head):
self.url = url;
self.head = head;
def get_data(self):
self.request = urllib.request.request(self.url);
self.request.add_header("user-agent" , self.head);#設定頭資訊, **伺服器
self.response = urllib.request.urlopen(self.request);
return self.response.read()
url = "";
html = gethtml(url , head);
print(html.get_data());

爬蟲第一步 獲取資料

在python中，可通過requests庫來獲取資料。windows系統 在cmd命令視窗中輸入 pip install requests mac系統 在terminal終端軟體中輸入 pip3 install requests requests.get 用法如下 引入requests庫 impor...

爬蟲第一步

注意正規表示式的書寫注意正規表示式的書寫 import re import requests url headers html requests.get url,headers,timeout 10 text print html redata re.compile r for i in re.fi...

Python爬蟲 反爬蟲第一步

request urllib2.request headers headers response urllib2.urlopen request html response.read decode utf 8 print html print response.getcode response 是伺...