使用python將資料存入SQLite3資料庫

2021-09-11 16:53:58 字數 2799 閱讀 6215

python從**上抓取的資料為了可以重複利用,一般都會儲存下來,儲存方式最簡單的會選擇儲存到文字檔案,常見的有方式txt、csv、excel等,還有一種方式是將資料儲存到資料庫,這樣也方便管理,常見的關係型資料庫有sqlite3、mysql,非關係型資料庫有redis、mongodb。那麼,這裡就簡單說明怎麼樣將資料儲存到sqlite3。

假設已經將資料抓取下來並已寫入json檔案,為了方便本次演練,這裡是我自己寫的json,防止json寫錯,這裡給出乙個位址可自動檢測json格式並將其格式化「下圖是格式化後的json格式圖。

(json格式化工具)

簡單的資料庫直接使用sqlite3比較方便,而且python自帶sqlite3模組直接匯入即可,前面文章《基於python的sqlite基礎知識學習》已經介紹了sqlite3的使用。

進入主題,取json檔案裡的資料,因為是檔案流,就需要用到json庫里的load方法,把json物件轉化為python物件,逐行匯入sql語句。

sql ="insert into student(id,name,age) values(%d,'%s',%d)"% (line['id'],line['name'],line['age'])

****具體步驟****

1****、逐行讀取當前路徑下的****json****檔案

2****、對資料進行解析

假設json為以上data格式,則可通過data[『id』]和data[『name』] 、data[『age』]分別獲取id和name、age欄位。

3****、資料入庫

利用python內建的sqlite3模組實現對sqlite資料庫的操作;注意sql語句中使用了格式化輸出的佔位符%s和%d來表示將要插入的變數,其中%s需要加引號''。

#向表中插入記錄

with open("data.json",』r』) as f:

data = json.load(f)

for line in data[『data』]:

#注意sql語句中使用了格式化輸出的佔位符%s和%d來表示將要插入的變數,其中%s需要加引號''

sql = "insert into cname(name,id,age) values('%s',%d,%d)" % (line['name'],line['id'],line['age'])

conn.execute(sql)

conn.commit()

#關閉資料庫連線

4****、查詢和確認資料

可以通過sql語句查詢和確認資料入庫情況。

至此,便將json格式的資料儲存到sqlite3資料庫中了,可以進行後續的分析和操作了,下面將**總結一下,修改便可使用。

環境說明:基於ubuntu16.04的python3.5.2版本;關於sqlite3就介紹這麼多了,各位小夥伴們下次見哦!

python將json資料存入MySQL中

一 準備工作 安裝mysql 安裝資料庫操作工具,我使用的是mysql front 已經爬取好了的json檔案,之前有寫過,這裡直接拿來用。二 import json import pymysql defprem db cursor db.cursor cursor.execute select v...

利用python將資料轉存入sqlite3

案例的目標是將存在檔案中的json格式資料轉存到sqlite資料庫中。因此,需要利用python逐行讀取json檔案中資料,對資料進行解析和入庫。具體操作步驟如下 1 逐行讀取json檔案 for line in open path sline dict json.load line 2 對資料進行...

ajax json將資料存入mysql資料庫

初始化表單 layui.use form function console.log dictlist post aaa bbb function data json return false 接收處理資料,轉換json格式傳入指定方法 接收json後可直接迴圈新增,此if處判斷是因為第一條新增的資料...