Scrapy常用命令

2021-10-01 21:51:14 字數 734 閱讀 3106

1,新建乙個工程

scrapy startproject spider_name

2,檢視當前專案內有多少爬蟲

scrapy list

3,view使用瀏覽器開啟網頁

scrapy view

4,startproject

語法: scrapy startproject 這個命令是scrapy最為常用的命令之一,它將會在當前目錄下建立乙個名為 的專案。

5,runspider

語法: scrapy runspider 在未建立專案的情況下,執行乙個編寫在python檔案中的spider。

6,fetch

7,version

語法: scrapy version [-v]

輸出scrapy版本。配合 -v 執行時,該命令同時輸出python, twisted以及平台的資訊。

8,crawl

語法: scrapy crawl 使用你專案中的spider進行爬取,即啟動你的專案。這個命令將會經常用到,我們會在後面的內容中經常使用。

9,genspider

語法: scrapy genspider [-t template] 在當前專案中建立spider。該方法可以使用提前定義好的模板來生成spider。您也可以自己建立spider的原始碼檔案。

例如: scrapy genspider -t basic wa(py 的名字) baidu.com

scrapy常用命令

scrapy startproject myfirst 建立乙個爬蟲專案 strapy startproject logfile tmp scrapy.log myfirst scrapy fetch 用例顯示爬蟲爬去的過程 scrapy runspider first.py 可以使用runspid...

scrapy常用命令

1.建立乙個新專案 scrapy startproject myproject 2.在新專案中建立乙個新的spider檔案 scrapy genspider mydomain mydomain.com mydomain為spider檔名,mydomain.com為爬取 網域名稱 3.全域性命令 st...

scrapy 常用命 令

原文 終端命令建立乙個專案 scrapy startproject name 利用蜘蛛名建立乙個py檔案 scrapy genspider name domain.name 在終端執行 scrapy shell url 得到response 利用蜘蛛名進行相對應的執行 scrapy crawl na...