把你的scrapy爬蟲寫好後,我們就可以寫指令碼來執行爬蟲
指令碼的邏輯就是先進去到爬蟲所在的資料夾然後執行scrapy crawl yourspider(你的爬蟲的名稱)
有個注意點就是scrapy在指令碼中要寫它的絕對路徑,通過命令which scrapy來獲取路徑
指令碼內容
#!/bin/sh
cd /spider #此處寫你爬蟲的資料夾
/usr/local/bin/scrapy crawl yourspider(你的爬蟲的名稱)
*
*/1 *
* * sh (你指令碼的絕對路徑)
關閉儲存後就會開始執行了,可以在爬蟲中列印日誌來關注執**況
ubuntu16啟用daytime服務
1.安裝xinted 先用cat etc services grep daytime 看一下是否有daytime服務，如果沒有的話需要安裝xinted 因為daytime服務包含在xinetd服務中。直接輸入命令 sudo apt get install xinetd 2.修改配置檔案 修改xine...
Window遠端登入Ubuntu16
wget unzip tigervncserver 1.6.80 4 amd64.zip dpkg i tigervncserver 1.6.80 4 amd64.deb 如果安裝出錯可執行 apt get install f 修復依賴關係 安裝 apt get install xrdp y 配置 ...
ubuntu16搭建redis集群
兩台ubuntu16雲伺服器上搭建redis集群，redis六個節點，三主三從 集群主節點數量最好為奇數，因為redis的投票選舉 一台伺服器上搭建redis埠號分別為7001,7002,7003，另一台伺服器上搭建redis埠號分別為7004,7005,7006。此時需要放開7001，7002,7...