python 爬蟲 csv文件的儲存和讀取

2021-08-28 09:32:33 字數 2502 閱讀 4828

判斷目錄,有則開啟,沒有新建

import csv

import os

#判斷目錄,有則開啟,沒有新建

if os.path.exists(

'd:\python\**\資料爬取'):

os.chdir(

'd:\python\**\資料爬取'

)else

: os.mkdir(

'd:\python\**\資料爬取'

) os.chdir(

'd:\python\**\資料爬取'

)

檔案寫入,需要寫入列表; newline:消除空格
with

open

('mycsv.csv'

,'w'

,encoding=

"utf-8"

,newline='')

as csvfile:

write1 = csv.writer(csvfile)

write1.writerow(

['編號'

,'**'

,'暱稱'])

write1.writerows([[

1,'',]

,[2,

'','京東'],

[3,'',]

])# 寫入九九乘法表

with

open

('mycsv.csv'

,'a'

,encoding=

"utf-8"

,newline='')

as csvfile:

write2 = csv.writer(csvfile)

for i in

range(1

,10):

list=[

]for j in

range(1

,i+1):

num =

str(j)

+'x'

+str

(i)+

'='+

str(j*i)

list

write2.writerow(

list

)

讀取csv
with

open

('mycsv.csv'

,'r'

,encoding=

"utf-8"

)as csvfile:

#utf-8-

read1 = csv.reader(csvfile)

#print

(type

(read1))#

for i in read1:

#每一行都是乙個列表*/

98765**-

*-print

(i)

先額外加入一些資料

with open

('mycsv.csv'

,'a'

,encoding=

'utf-8'

,newline=

'') as csvfile:

write = csv.

writer

(csvfile)

write.

writerows([

['上海市|普陀區|華大科創樓'],

['山東市|德州市|樂陵市'],

['四川市|成都|錦江區']]

)

自定義讀取規則

csv.register_dialect(『任意規則名稱』,delimiter=『自定義分隔 符』,quoting=csv.quote_all)

csv.register_dialect(

'mydialect'

,delimiter=

'|',quoting=csv.quote_all)

#註冊規則

#csv.unregister_dialect('mydialect') #登出規則

with

open

('mycsv.csv'

,'r'

,encoding=

'utf-8'

)as csvfile:

read2 = csv.reader(csvfile)

for i,v in

enumerate

(read2)

:#不用遍歷全部,效率更高

print

(v)#可以換規則繼續迭代

if i ==12:

break

print

('----------'

) readagin = csv.reader(csvfile,

'mydialect'

)for each in readagin:

print

(each)

Python簡單爬蟲匯出CSV檔案

流程 模擬登入 獲取html頁面 正則解析所有符合條件的行 逐一將符合條件的行的所有列存入到csvdata臨時變數中 寫入到csv檔案中 核心 寫入csv檔案中 with open self.csvfilename,wb as csvfile spamwriter csv.writer csvfil...

python網路爬蟲 資料儲存之CSV

csv comma separated values,逗號分隔值 是儲存 資料的常用檔案格式。很多應用都支援csv格式,因為它很簡潔,下面就是乙個csv檔案的例子 fruit,cost banana,0.30 pear,1.25 python的csv庫可以非常簡單地修改csv檔案,甚至從零開始建立乙...

Python 爬蟲 (Json和Csv)檔案儲存

用解析器解析出的資料後,可以通過txt json csv等檔案形式進行儲存 1 txt形式此處略 2 json檔案儲存 json即js 物件標記,是一種資料格式 json格式 json物件 json陣列 例如 1 import json 2 str 3 4 5print type str 6 obj...