15 爬蟲資料入庫

2021-09-26 07:06:16 字數 2511 閱讀 2314

python連線mysql資料庫

資料插入操作

資料更新操作

資料查詢操作

查詢分頁實現

# 連線資料庫

db = pymysql.connect(host=

"127.0.0.1"

,user=

"root"

,password=

"root"

,database=

"mysql"

)# connection

print

(db)

# 所有的操作都需要通過游標來執行

cursor = db.cursor(

)

try

: sql =

"insert into article (title, name, url, collection) values (%s,%s,%s,%s)"

# 通過游標完成crud

cursor.execute(sql,

('我是標題'

,'作者名稱'

,'url位址'

,'文藝、科技、娛樂'))

# 預設需要手動提交事務

db.commit(

)except

:print

('sql插入出錯'

) db.rollback(

)finally

: cursor.close(

) db.close(

)

cursor = db.cursor(

)# 資料的插入操作 db file url 都需要異常的捕獲

try:

sql =

"update article set title=%s, name=%s where id=%s"

# 返回的是受影響的行數

count = cursor.execute(sql,

('新標題2'

,'老作者2',3

))print

('更新的行數為'

,count)

# 預設需要手動提交事務

db.commit(

)except

:print

('sql更新出錯'

) db.rollback(

)

cursor = db.cursor(

)# 資料的插入操作 db file url 都需要異常的捕獲

try:

sql =

"select * from article where id= %s "

# 返回的是受影響的行數

count = cursor.execute(sql,3)

print

('查詢的記錄數為'

,count)

# 查詢不需要提交事務,但是要通過fetch完成資料的抓取

print

(cursor.fetchone())

except

:print

('sql查詢出錯'

)

cursor = db.cursor(

)try

: keyword =

'標題'

current_page =

1 size =

3 sql =

"select * from article where title like %s limit %s,%s"

# 返回的是受影響的行數

count = cursor.execute(sql,

(f'%%'

,(current_page-1)

*size,size)

)print

('查詢的記錄數為'

,count)

# 查詢不需要提交事務,但是要通過fetch完成資料的抓取

for row in cursor.fetchall():

print

(row)

except

:print

('sql查詢分頁出錯'

)

oracle資料入庫

oracle資料入庫 注意 先要處理檔案中的分隔符 將資料分列 建立為標準的sql語句 1.在oracle資料庫中建立要入庫的表如果有該錶則不用建立 注 建立欄位的資料型別要符合實際邏輯 varchar2欄位最大為4000 2.把csv檔案放入到伺服器上的資料夾中 要和ctl檔案放到一塊 3.cmd...

oracle資料入庫

oracle資料入庫 注意 先要處理檔案中的分隔符 將資料分列 建立為標準的sql語句 1.在oracle資料庫中建立要入庫的表如果有該錶則不用建立 注 建立欄位的資料型別要符合實際邏輯 varchar2欄位最大為4000 2.把csv檔案放入到伺服器上的資料夾中 要和ctl檔案放到一塊 3.cmd...

1 5 爬蟲入門

內網需要認證 auth user,pwd reponse request.get url,auth auth proxy url headers 新增 proxy response requests.get urlurl,headers headers,proxies proxy print sta...