目前所接觸的資料庫暫時包含mysql和mongodb。資料庫的作用是儲存大量資料，因為數量大，所以需要通過spark在python上進行操作。spark的優勢是所有資料都在記憶體中操作，減少i/o的次數從而大大提公升速度。如果單純在本地上用python處理資料，速度將非常慢。目前所有操作均在由3臺機器搭載的伺服器上。本文將簡單的記錄一下如何用python對接mongodb。
首先看一下mongodb的連線：
from pymongo import mongoclient
# assign connect info
host =
'xx.xx.xx.xx'
port = ******
username =
"******"
password =
"******"
# ****** connection
client = mongoclient(host, port)
# connect database 'admin' and table 'trendtechstacksource2'
auth_db = client.admin
auth_db.authenticate(username, password, mechanism=
'scram-sha-1'
)techradar_db = client.admin
result = techradar_db.trendtechstacksource2_copy20190603b
# safe it to dataframe df_603b for further
df =
list
(result.find())
df = pd.dataframe(df)
import pymongo
from pymongo import mongoclient
client = mongoclient(
'mongodb:'
)storedb = client.ana
coll = storedb[
"forecast"
]data = combined_df.to_dict(orient=
'records'
)storedb.forecast.insert_many(data)
python 與 mongodb的互動 查詢
python與mongo資料庫互動時，在查詢的時候注意的一些小問題 1 from pymongo import 2def find func 3 建立連線物件 4 client mongoclient port 27017,host localhost 5 選擇要使用的資料庫 6 db client...
python 與 mongodb的互動 更新操作
這裡只要討論python與mongod互動的時候insert的問題 1 from pymongo import 2def insert func 3try 4 client obj mongoclient port 27017,host localhost 5 db client obj.test6...
MongoDB的安裝與設定MongoDB服務
mongo db 是目前在it行業非常流行的一種非關係型資料庫 nosql 其靈活的資料儲存方式備受當前it從業人員的青睞。mongo db很好的實現了物件導向的思想 oo思想 在mongo db中 每一條記錄都是乙個document物件。mongo db最大的優勢在於所有的資料持久操作都無需開發人...