python爬蟲之資料儲存(四) MySQL資料庫

2021-10-09 08:47:41 字數 1434 閱讀 8709

pip install pymysql

連線**:

db = pymysql.connect(host=

"127.0.0.1"

,port=

3306

,user=

"root"

,password=

"root"

,database=

"csdn_crawler"

,charset=

'utf8'

)

port:在外網一般會更換埠號,不會為3306,這是為了安全考慮。

user:連線的使用者,一般在生產環境中會單獨分配乙個賬號給你,而不是使用root使用者。

password:這個使用者的密碼。

database:要連線操作的資料庫名。

charset:設定為utf8這樣就能操作中文了。

title =

'444'

content =

'555'

sql =

"insert into article(id,title,content) values(null,%s,%s)"

cursor.execute(sql,

(title,content)

)

語法是:

insert into [表名(字段)

] values(字段對應的值)

如果值是動態變化的,那麼可以使用%s來先作為坑,後期在使用execute方法的時候,可以給乙個元組把這些資料填進去。

sql =

"select id,title from article where id>3"

cursor.execute(sql)

執行完sql語句後,可以使用以下三個方法來提取資料:

fetcheone:提取第一條資料。

fetchall:提取select語句獲取到的所有資料。

fetchmany:提取指定條數的資料。

語法:delete from [表名] [條件]

示例:

sql =

"delete from article where id>3"

cursor.execute(sql)

語法:

update [表名] [更新操作] [條件]

示例:

sql =

"update article set title='鋼鐵是怎樣練成的' where id=3"

cursor.execute(sql)

ticle set title=

'鋼鐵是怎樣練成的' where id=3"

cursor.execute(sql)

python網路爬蟲 資料儲存之CSV

csv comma separated values,逗號分隔值 是儲存 資料的常用檔案格式。很多應用都支援csv格式,因為它很簡潔,下面就是乙個csv檔案的例子 fruit,cost banana,0.30 pear,1.25 python的csv庫可以非常簡單地修改csv檔案,甚至從零開始建立乙...

python爬蟲資料儲存JSON儲存

encoding utf 8 import re import requests import json from requests.exceptions import requestexception def get open page url try 請求頭 headers 使用localhos...

python爬蟲之urllib 四

每個 都會定義robots.txt 檔案,這個檔案可以告訴網路爬蟲爬取該 時存在哪些限制。作為良好網民以及其他人利益,一般上遵從這些限制。如何檢視這個檔案?可以通過在目標 站點或網域名稱後面加上 robots.txt 進行訪問。例如 目標 站點 的 robots.txt 檔案就是 robots.tx...