Python3 爬蟲學習筆記 資料庫的安裝

2021-08-28 02:46:01 字數 2626 閱讀 6194

作為資料儲存的重要部分,資料庫同樣必不可少,資料庫可以分為關係型資料庫和非關係型資料庫。

關係型資料庫如sqlite、mysql、oracle、sql server、db2等,其資料庫是以表的形式儲存;非關係型資料庫如mongodb、redis,它們的儲存形式是鍵值對,儲存形式更加靈活。

windows下的安裝linux下的安裝

以ubuntu為例進行安裝:

sudo apt-get update

sudo apt-get install -y mysql-sever mysql-client

啟動、關閉和重啟mysql服務的命令如下:

sudo service mysql start

sudo service mysql stop

sudo service mysql restart

完成了ubuntu下的mysql的安裝,之後可以修改密碼:

mysql -uroot -p

use mysql;

update

user

set password = password('newpass') where

user = 'root';

flush peivileges;

由於linux一般會作為伺服器使用,為了使mysql可以被遠端訪問,我們需要修改mysql的配置檔案,配置檔案的路徑一般為/etc/mysql/my.conf。

注釋掉 bind-address = 127.0.0.1即可,此行限制了mysql只能本地訪問而不能遠端訪問。

mongodb是由c++語言編寫的非關係型資料庫,是乙個基於分布式檔案儲存的開源資料庫系統,其內容儲存形式類似json物件,它的字段值可以包含其他文件、陣列及文件陣列,非常靈活。

windows下的安裝

mongod --dbpath "c:\mongodb

\server\3.4\data

\db"

此命令列方法不能關閉,如果要一直執行,需要配置成系統服務。

以管理員身份執行命令列,輸入如下內容:

mongod--

bind_ip0.

0.0.

0--logpath

"c:\mongodb\server\3

.4\logs\mongodb

.log"--

--dbpath

"c:\mongodb\server\3

.4\data\db"--

port

27017--

servicename

"mongodb"--

servicedisplayname

"mongodb"--

install

這裡的意思是繫結ip為0.0.0.0(即任意ip均可訪問),指定日誌路徑、資料庫路徑和埠,指定伺服器名稱。需要注意的是,這裡依然需要把路徑替換成你的mongodb安裝路徑,執行此命令後即可安裝服務。

啟動服務後,在命令列下就可以利用mongo命令進入mongodb命令互動環境。

linux下的安裝

ubuntu中,首先需要匯入mongodb的gpg key:

sudo

apt-

keyadv--

keyserver

hkp://keyserver

.ubuntu

.com:80--

recv

0c49f3730359a14518585931bc711f9ba15703c6

ubuntu16.04對應安裝命令如下:

echo

"deb [arch=amd64,arm64] xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list

更新apt-get源

sudo apt-get update
之後安裝mongodb即可:

sudo apt-get install -y mongodb-org
安裝完成後執行mongodb:

mongod--

port

27017--

dbpath

/data/db

視覺化工具

robomongo/robo 3t,使用簡單,功能強大,官方**為 。

還有乙個簡單易用的視覺化工具——studio 3t,它同樣具有方便的圖形化管理介面,官方**為

redis是乙個基於記憶體的高效的非關係型資料庫。

windows下的安裝linux下的安裝

ubuntu下安裝

sudo apt-get

-y install redis-server

python3爬蟲學習筆記

爬蟲爬取京東某手機頁面 beautifulsoup 原文記錄內容太多現進行摘錄和分類 pip3 install jieba kou ubuntu python cat clahamlet.py usr bin env python coding utf 8 e10.1calhamlet.py def...

python3爬蟲筆記

請求 並提取 資料的 自動化 程式 發起請求 獲取響應內容 解析文字內容 儲存資料 1.瀏覽器傳送資訊給該 所在的伺服器,這個過程叫做http request。2.服務收到瀏覽器傳送的訊息後,能夠根據瀏覽器傳送訊息的內容,做相應的處理,然後把訊息回傳給瀏覽器。這個過程叫做http response。...

Python3爬蟲學習筆記0 0 綜述

歡迎捧場,博主前一段時間零零碎碎地學習了一些python爬蟲的知識,現在把一些學習內容整理出來,水平有限,難免出現錯誤,希望大家能夠批評指正,謝謝。該系列部落格的內容參照 崔慶才 靜覓的部落格內容完成,謝謝授權。python 版本 3.5 預備知識 python基礎,http協議,正規表示式,url...