搭建 PySpider 爬蟲服務

1. 環境準備

前置環境部署

在開始部署前，我們需要做一些前置準備 。

yum 更新

yum update -y

yum install gcc gcc-c++

-y

yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel -y

pip install --upgrade pip

由於 centos 7 中 mysql 資料庫已從預設的程式列表中移除，我們使用 mariadb 代替。

安裝 mariadb

yum install mariadb-server mariadb -y

systemctl start mariadb

預設的root使用者密碼為空，你可以使用以下命令來建立 root 使用者的密碼：

（該步驟也可以跳過，password 後的 ugw9ogoe 可以改為任何你希望設定的密碼）

mysqladmin -u root password "ugw9ogoe"

現在你可以嘗試通過以下命令來連線到 mysql 伺服器

mysql -u root -p

此時輸入 show databases; 並回車，應該可以看到類似下面這樣的輸出，說明一切正常。

mysql> show databases;+--

----
----
+| database |+--
----
----
+| mysql |
| test |+--
----
----
+2 rows in set (
0.13 sec)

3. 部署 redis

wget http:

tar -xzvf redis-stable.tar.gz

mv redis-stable /usr/local/redis

cd /usr/local/redis

make
make install

設定配置檔案路徑

mkdir -p /etc/redis

cp /usr/local/redis/redis.conf /etc/redis/redis.conf

daemonize yes

/usr/local/bin/redis-server /etc/redis/redis.con

安裝依賴

pip install --upgrade chardet

easy_install mysql-connector==
2.1.3
easy_install redis
pip install jinja2==
2.10

pip install pyspider

首先建立配置目錄

mkdir /etc/pyspider

具體配置的說明文件請參考 官方文件

示例**：/etc/pyspider/pyspider.conf.json

}

webui 配置中的 username 及 password 為您訪問 webui 時候需要的使用者名稱，你也可以不設定使用者名稱密碼，直接將 need-auth 設為 false 即可。

啟動服務

pyspider -c /etc/pyspider/pyspider.conf.json

服務能夠正常啟動後，我們需要讓它能夠在後台執行，您可以通過以下命令讓服務在後台執行

nohup pyspider -c /etc/pyspider/pyspider.conf.json &

訪問服務

此時您可以訪問 使用您的爬蟲來蒐集資料了，具體 pyspider 爬蟲指令碼的編寫及使用教程可以參考 網上資料。

大功告成

恭喜您已經完成了搭建 pyspider 爬蟲服務的學習，您可以留用或者購買 linux 版本的 cvm 繼續學習。

pyspider爬蟲框架 增量爬蟲

pyspider 爬蟲框架,基於puquery實現的.優勢 1.基於多執行緒非同步的任務排程方式 可以實現爬蟲的高併發爬取,注意使用 2.它提供了乙個wedui的爬蟲任務管理介面,可以實現爬蟲的停止,啟動,除錯,支援定時爬取任務 3.簡潔 4.支援動態 的爬取 requests urllib只能爬取...

pyspider 搭建日誌

1 安裝pip 略2 安裝phantomjs 必要條件 sudo yum y install gcc gcc c make flex bison gperf ruby openssl devel freetype devel fontconfig devel libicu devel sqlite ...

python增量爬蟲pyspider

1.為了能夠將爬取到的資料存入本地資料庫，現在本地建立乙個mysql資料庫example，然後 在資料庫中建立一張 test，示例如下 drop table if exists test create table douban db id int 11 not null auto increment...