爬出蟲了,資料咋辦

2021-10-03 05:51:59 字數 2532 閱讀 8987

# 遞迴建立資料夾

os.makdir(directory)

# 必須是上級路徑存在得前提下,只建立最後乙個資料夾

import csv 

with

open

('***.csv'

,'w'

)as f:

writer = csv.writer(f)

# 單行寫入

writer.writerow(

)# 多行寫入

writer.writerows([(

),()

,()]

)

import json

# 寫入單個

item =

with

open(,

'w')

as f:

json.dump(item,f,ensure_ascii=

false

)# 寫入多個

item_list =

for i in

range(3

):item =

with

open(,

'w')

as f:

json.dump(item_list,f,ensure_ascii=

false

)

import pymysql

# 資料庫中已建庫,建表

db = pymysql.connect(

'localhost'

,'root'

,'123456'

,'***db'

,charset=

'utf8'

)cursor = db.cursor(

)sql =

'insert into ***tab values(%s,%s,%s)'

# 1. 單條插入表記錄

cursor.execute(sql,

['大話西遊'

,'周星馳'

,'1995'])

# 2. 多條插入表記錄 - 高效且節省資源

cursor.executemany(sql,[(

'大話西遊'

,'周星馳'

,'1995'),

('霸王別姬'

,'張國榮'

,'1993')]

)db.commit(

)cursor.close(

)db.close(

)

redis

import redis

r = redis.redis(host=

'locaalhost'

, port=

6379

, db=0)

r.sadd(key, member)

常用命令

$ mongo

>show dbs - 檢視所有庫

>use 庫名 - 切換庫

>show collections/tables - 檢視當前庫中所有集合

>db.集合名.find(

).pretty(

) - 檢視集合中文件 pretty 格式化輸出

>db.集合名.count(

) - 統計文件條數

>db.集合名.drop(

) - 刪除集合

>db.dropdatabase(

) - 刪除當前庫

import pymongo

# 1.連線物件

conn = pymongo.mongoclient(host=

'localhost'

, port =

27017

)# 2.庫物件

db = conn[

'***db'

]# 3.集合物件

myset = db[

'***set'

]# 4.插入資料庫

myset.insert_one(

)myset.insert_many([,

])

將資料存入redis資料庫

if r.sadd(

'spider:urls'

,href_md5)==1

: 執行抓取程式

MySQL,Hadoop閉源了咋辦?

突然滴,mysql hadoop等開源軟體有可能被 閉源 的話題火起來了。聽說,活躍在我國境內眾多著名商用資料庫資料倉儲都是從這些開源 改出來的,這要是被鬼子釜底抽薪,那可如何是好?一時間大家都紛紛表示很揪心,心痛得無法呼吸。表擔心,有我潤幹軟體在!潤幹,一家國內的基礎軟體廠商,乙個普普通通的軟體公...

Mysql忘記密碼了,咋辦,只需3步!

1 停止mysqld服務,編輯my.cnf主配置檔案,在 mysqld 模組下增加skip grant tables跳過授權表 2 啟動mysqld服務,哈哈,你發現現在進入資料庫就不需要密碼了 現在你就可以修改你的密碼啦,update mysql.user set password passwor...

mysql掛科了咋辦 大學第一學期掛科怎麼辦?

補考,補考過不了就重修,沒什麼大不了。我大一上掛了大學英語,補考過了 大一下掛了通用學術英語,補考沒過,重修前複習了好久加上老師可憐我,終於67險過 dbq但是英語真的好難我好菜 大二上,也就是現在,我今天 不對已經是昨天了 剛考完一門普通生物,感覺必掛,而且老師是那種鐵面無私的不會撈人的.掛了這麼...