將爬蟲部署到linux伺服器

二、部署執行

參考linux系統安裝python3環境

[root@localhost opt]# ll

drwxr-xr-x.
41000 mysql 245
10月 15
2018 twisted-
18.9
.0-rw-r--r--
.1 root root 3088398
10月 15
2018 twisted-
18.9
.0.tar.bz2

進入twisted-18.9.0目錄，執行命令python3 setup.py install

執行命令pip3 install scrapy

執行命令pip3 install scrapy-redis

如果需要使用scrapy-redis開發分布式爬蟲，則需要安裝該外掛程式

將爬蟲專案上傳至linux伺服器的opt/目錄下（可使用rz命令或xftp工具）

[root@localhost opt]# ll

drwxr-xr-x.
3 root root 40
7月 410:
40 scrapy03

[root@localhost spiders]# ll

總用量 8
-rw-r--r--
.1 root root 161
7月 410:
40 __init__.py
drwxr-xr-x.
2 root root 67
7月 410:
40 __pycache__
-rw-r--r--
.1 root root 919
7月 410:
40 quanben.py

3）將開啟開始寫入redis庫中，爬蟲會正式開始執行

在redis客戶端中，執行命令lpush quanben:start_urls + 開始位址

1資料已經成功寫入redis庫中

將Django部署到伺服器 下

yum update y yum ygroupinstall development tools 安裝完成後記得建立軟連線，使其預設為預設使用。此步驟詳細請參考 1 備份本地資料庫。使用sqlite資料庫的話，直接打包資料庫檔案上傳到伺服器即可。使用mysql資料庫，要先在本地mysql裡備份匯出資...

war包部署到linux伺服器

war包部署到linux伺服器 jdk,tomcat我這裡是通過scp過去的 下面說一說安裝mysql5.7wget i c2.安裝yum repository yum y install mysql57 community release el7 10.noarch.rpm3.用yum安裝mysq...

備忘 部署 c 伺服器到 linux

最近我用 c socket 寫了 lock step 訊息的 伺服器,需要把伺服器 部署到自己的雲伺服器上。過程在此記錄備忘 第1步，把 c 傳到伺服器 本地執行 scp 命令 scp r ebbs root 網域名稱 data 其中 r 表示傳輸目錄 不加 r 可以傳輸單個檔案 ebbs 是本地目...