爬蟲 之 資料儲存（txt json csv）

我們用 requests抓取到了頁面

然後用beautifulsoup 或 pyquery解析提取了目標資料，接下來就是要儲存啦。

可以儲存為三種資料：

get_data = '~~~~~~'

with open('data.txt','w',encoding='utf-8') as f:
f.write(get_data)

json.loads( data):     把字串型別的data轉成 json型別

json.dumps( data) :  把 json 型別的資料轉成字串型別

把json型別資料存起來

import json

data = 
with open('rao.json','w',encoding='utf-8') as file:
file.write(json.dumps(data,indent=2,ensure_ascii=false))

import json

with open('rao.json','r') as f:
d = f.read()
print(d,type(d))
d = json.loads(d)
print(d,type(d))

import csv

with open('csvdemo.csv','w',encoding='utf-8') as csvfile:
write = csv.writer(csvfile,delimiter=" ")
write.writerow(['id','name'])
write.writerow(['666','rao'])
write.writerow(['999','hou'])

為寫入中文，設定編碼為utf-8

讀出：

import csv

with open('csvdemo.csv','r') as csvfile:
reader = csv.reader(csvfile)
for row in reader:
print(row)

python網路爬蟲 資料儲存之CSV

csv comma separated values,逗號分隔值 是儲存 資料的常用檔案格式。很多應用都支援csv格式，因為它很簡潔，下面就是乙個csv檔案的例子 fruit,cost banana,0.30 pear,1.25 python的csv庫可以非常簡單地修改csv檔案，甚至從零開始建立乙...

爬蟲資料儲存csv

一，csv檔案的簡單讀寫import csv csv也叫逗號分分隔，一般以逗號分隔，也可以使用空格或者tab分隔 csv file open file test.csv w 寫入 try csv write csv.writer csv file csv write.writerow col1 co...

scrapy 爬蟲儲存資料

scrapy儲存資訊的最簡單的方法主要有四種，o 輸出指定格式的檔案，命令如下 json格式，預設為unicode編碼 scrapy crawl itcast o teachers.json json lines格式，預設為unicode編碼 scrapy crawl itcast o teache...