人人網登陸

from tuozhan_all import get

# 0. url
# 1. 構造headers
# 2. 呼叫get函式
# 3. 儲存頁面
url = ''
headers = 
html_bytes = get(url, headers=headers)
with open('renren.html', 'wb') as f:
f.write(html_bytes)

from tuozhan_all import post, get

import json
from urllib import request, parse
# 儲存cookie
# 通過物件儲存cookie
cookie_object = cookiejar.cookiejar()
# handler 對應著乙個操作
# opener 遇到有cookie的response的時候,呼叫handler內部的乙個函式, 儲存到cookie object
opener = request.build_opener(handler)
# def store(cookie):
## def check_response(response):
# if 'cookie' in response:
# handler.store(response['cookie'])
# url
url = ''
# form
form = 
# post
form_bytes = parse.urlencode(form).encode('utf-8')
# response = request.urlopen(url, form_bytes)
# opener = request.build_opener()
# opener.open()
response = opener.open(url, form_bytes)
html_bytes = response.read()
#html_bytes = post(url, form=form)
# 列印結果
#print(html_bytes)
# 通過json獲取乙個字典型別
res_dict = json.loads(html_bytes.decode('utf-8'))
home_url = res_dict['homeurl']
# 訪問頁面
response = opener.open(home_url)
html_bytes = response.read()
print(html_bytes.decode('utf-8'))

人人網form登陸

from day1.tuozhan all import post,get import json from urllib import request,parse 儲存cookie 通過物件儲存cookie cookie object cookiejar.cookiejar handler 對應著...

python爬蟲人人網登陸

匯入模組from urllib import request,parse from http import cookiejar 儲存cookie，例項化cookiecookie cookiejar.cookiejar com plogin.do 登入賬號密碼data 轉換格式data parse.u...

scrapy模擬登陸豆瓣網 處理驗證碼登陸

我們知道有一些 是需要驗證碼才可以登陸的，比如豆瓣網在錯誤輸入幾次賬號密碼後，都會需要提交包含驗證碼的表單才可以登陸，便需要處理驗證碼型登陸 技術路徑 scrapy爬蟲框架。技術重點 還是scrapy的formrequest方法。由於由於不涉及到豆瓣網登陸後頁面的解析 老生常談的問題了 我們只需要編...