爬取資訊到資料庫入門操作

2021-08-09 16:44:22 字數 1521 閱讀 4134

#

爬取維基百科

#引入開發包

fromurllib.requestimporturlopen

frombs4importbeautifulsoup

importre

importpymysql.cursors

#請求url並使用utf-8編碼

resp = urlopen("").read().decode("utf-8")

#指定乙個解析器

如果不是已jpg或者jpg結尾的才輸出

print(listurl.string,"<-------->",""+listurl["href"])

#獲取資料庫鏈結

connection =pymysql.connect(host ='localhost',

user ='root',

password ='19961016',

db ="wikiurl",

charset ="utf8mb4"

)

try:

#獲取會話指標

withconnection.cursor()ascursor:

#建立sql語句

sql ="insert into`urls`(`urlname`,`urlhref`)values(%s,%s)"

#

執行sql語句

cursor.execute(sql,(listurl.get_text(),""+listurl["href"]))#提交

connection.commit()

finally:

connection.close()

資料庫之提取資訊

sql語句最大的功能在於它可以提取資料。你可以以資料輸入到資料庫中的相同方式來提取資料,或者可以查詢資料庫,並獲得問題的答案。下面就簡單地介紹下資料庫的資訊提取。select語句,基本語法 select column1,column2,columnx from table name 如 select...

python爬取資料庫資訊

一 今日學習內容 資料庫儲存爬取的資訊 mysql 爬取到的資料為了更好地進行分析利用,而之前將爬取得資料存放在txt檔案中後期處理起來會比較麻煩,很不方便,如果資料量比較大的情況下,查詢更加麻煩,所以我們通常會把爬取的資料儲存到資料庫中便於後期分析利用。這裡,資料庫選擇mysql,採用pymysq...

資料庫入門操作(day one)

show databases use database 資料庫名 create database 資料庫名 show tables select from 表名 檢視表中所有欄位下的資料 desc 表名 顯示資料表的基本描述資訊create table 表名 欄位1 資料型別,欄位2 資料型別,al...