python爬蟲教程 jsonPath

2021-09-18 01:54:33 字數 2019 閱讀 6722

這個是python自帶的輕量級的資料交換格式,這個與xml相較比不相上下.

json.loads()

python中的json 模組

- 提供了四個功能 : dumps,dump,loads,load 用於字串和python資料型別進行轉換

把json格式字串解碼轉換成python物件 從json到python的型別轉化對照如下:

'''

'''import json

strlist = '[1, 2, 3, 4]'

strdict = ''

json.loads(strlist)

# [1, 2, 3, 4]

json.loads(strdict) # json資料自動按unicode儲存

#

json.dumps()

實現python型別轉化為json字串,返回乙個str物件 把乙個python物件編碼轉換成json字串

從python原始型別向json型別的轉化對照如下:

'''

'''import json

liststr = [1, 2, 3, 4]

tuplestr = (1, 2, 3, 4)

dictstr =

json.dumps(liststr)

# '[1, 2, 3, 4]'

json.dumps(tuplestr)

# '[1, 2, 3, 4]'

# 注意:json.dumps() 序列化時預設使用的ascii編碼

# 新增引數 ensure_ascii=false 禁用ascii編碼,按utf-8編碼

json.dumps(dictstr)

# ''

print(json.dumps(dictstr, ensure_ascii=false))

#

json.dump()

將python內建型別序列化為json物件後寫入檔案

import json

liststr = [, ]

json.dump(liststr, open("liststr.json","w"), ensure_ascii=false)

dictstr =

json.dump(dictstr, open("dictstr.json","w"), ensure_ascii=false)

使用這個的好處

如果網頁是用ajax來進行 資料互動的,

使用jsonpath 就是可以直接使用url 來進行獲取資料,相對於其他就更加的方便

示例我們以拉勾網城市json檔案  為例,獲取所有城市

from urllib.request import urlopen

from urllib.request import request

import jsonpath

import json

url = ''

request =request(url)

response = urlopen(request)

html = response.read()

# 把json格式字串轉換成python物件

jsonobj = json.loads(html)

# 從根節點開始,匹配name節點

citylist = jsonpath.jsonpath(jsonobj,'$..name')

print(citylist)

print(type(citylist))

fp = open('city.json','w')

content = json.dumps(citylist, ensure_ascii=false)

print(content)

fp.write(content)

fp.close()

python爬蟲入門教程 Python 爬蟲介紹

一 什麼是爬蟲 爬蟲 一段自動抓取網際網路資訊的程式,從網際網路上抓取對於我們有價值的資訊。二 python爬蟲架構 網頁解析器 將乙個網頁字串進行解析,可以按照我們的要求來提取出我們有用的資訊,也可以根據dom樹的解析方式來解析。網頁解析器有正規表示式 直觀,將網頁轉成字串通過模糊匹配的方式來提取...

python爬蟲教程大全

關於python爬蟲這方面知識,在網路上有一些教程 文章,很有價值,能夠帶領新手快速入門。在這裡我把自己學習時找到的一些教程列出來,與大家一起分享,歡迎補充!乙隻小爬蟲 乙隻併發的小爬蟲 python與簡單網路爬蟲的編寫 python寫爬蟲 抓取網頁並解析html python 網路爬蟲 一 抓取網...

python爬蟲教程大全

關於python爬蟲這方面知識,在網路上有一些教程 文章,很有價值,能夠帶領新手快速入門。在這裡我把自己學習時找到的一些教程列出來,與大家一起分享,歡迎補充!乙隻小爬蟲 乙隻併發的小爬蟲 python與簡單網路爬蟲的編寫 python寫爬蟲 抓取網頁並解析html python 網路爬蟲 一 抓取網...