Gerapy安裝與配置使用

2021-10-11 02:14:49 字數 689 閱讀 8843

gerapy 是一款分布式爬蟲管理框架,支援 python 3,基於 scrapy、scrapyd、scrapyd-client、scrapy-redis、scrapyd-api、scrapy-splash、jinjia2、django、vue.js 開發,gerapy 可以幫助我們:

更方便地控制爬蟲執行

更直觀地檢視爬蟲狀態

更實時地檢視爬取結果

更簡單地實現專案部署

更統一地實現主機管理

更輕鬆地編寫爬蟲**

pip install gerapy  # 安裝

gerapy # 檢視是否安裝成功

gerapy init # 執行後會在當前目錄下生成乙個名字為gerapy的資料夾

cd gerapy # 接著進入該資料夾下,可以看到project檔案家說明初始化成功

gerapy migrate # 此命令在gerapy目錄下執行,會在gerapy目錄下生成乙個sqlite資料庫,同時建立資料表

gerapy createsuperuser # 建立超級使用者 之後就是輸入username, email,password

gerapy runserver 127.0.0.1:8000  # 預設是本地化啟動,如果埠被占用請自行更改
瀏覽器訪問

derby安裝配置與使用

derby 我用的是10.10.2.0 解壓縮到任意資料夾,我的是 d db derby 10.10.2.0 bin 2,配置環境變數 建立derby home,值 d db derby 10.10.2.0 bin 在path加入 derby home bin 在classpath加入 derby ...

GLPK 安裝配置與使用

這學期選修了卜東波老師的 計算機演算法設計與分析 linear programmin 部分的作業要求用glpk求解,於是開始摸索glpk的 安裝與使用。glpk 簡介 glpk全程gnu linear programming kits,是gnu opensource 的用於解線性規劃的專案。網上大多...

nginx的安裝與配置 使用

sudo yum y install gcc pcre zlib zlib devel openssl openssl develwget tar xzvf nginx 1.10.3.tar.gz c devtools 進入解壓目錄 cd devtools nginx 1.10.3 編譯 confi...