Python登入抓取JSON資料

#python登入抓取json資料

#from http.comkie import cookiejar 上面那句和這句等同
loginurl=''登入提交
imgurl=""#驗證碼位址
cookie = http.cookiejar.cookiejar() # 宣告乙個cookiejar物件例項來儲存cookie
handler = urllib.request.httpcookieprocessor(cookie) # 利用urllib2庫的httpcookieprocessor物件來建立cookie處理器
opener = urllib.request.build_opener(handler)## 通過handler來構建opener
#response = opener.open(pinurl) # 此處的open方法同urllib2的urlopen方法，也可以傳入request
#for item in cookie:
#print('name = ' + item.name)
#print('value = ' + item.value)#列印cooke數值
params={} #dict字典資料型別
params['username']='admin'
params['password']='123789ac'#這裡寫上已有的使用者名稱和密碼
imgb = opener.open(img)
local = open('v.jpg','wb')#儲存驗證碼到本地
local.write(imgb.read())
local.close()
params["captcha"] = vcode
print(urllib.parse.urlencode(params).encode('utf-8'))
response = opener.open(pinurl,urllib.parse.urlencode(params).encode('utf-8'))
#print(response.read().decode('utf-8'))
#html = opener.open('')
jhtml = opener.open('')
hjson = json.loads(jhtml.read())# json字串轉換為python字典物件
vlist=jsonpath.jsonpath(hjson,"$.data[*]") #python形式的列表 
for v in vlist:
print(v['name'])

php curl模擬登入抓取頁面資訊

在本專案中，使用php抓取四川大學綜合教務 的成績資訊 課程資訊以及登入使用者的基本資料，解析資料並存入資料庫，以實現對所得資訊的進一步分析，並呈現給使用者。本文主要記錄了使用curl模擬登入，獲取cookie1並進行資料抓取的過程。初始化乙個curl控制代碼 resource curl init ...

Python抓取網頁

在python中，使用urllib2這個元件來抓取網頁。coding utf 8 urllib2是python的乙個獲取urls uniform resource locators 的元件。import urllib2 它以urlopen函式的形式提供了乙個非常簡單的介面 response urll...

Python抓取小說

這個指令碼命令mac在抓取 寫，使用python它有幾個碼。coding utf 8 import re import urllib2 import chardet import sys from bs4 import beautifulsoup import codecs class spider...