1.scrapy startproject ***建立新的爬蟲檔案
2.scrapy genspider *** "www.***.com"必須在爬蟲檔案中建立(最基礎的模板)，用crawl建立需要輸入scrapy genspider -t crawl *** 「www.***.com」
3.scrapy genspider -l 可以列出所有模板
4.scrapy view ** 可以檢視要爬取的**有沒有動態載入的
5.scrapy version 可以檢視scrapy版本，scrapy version -v可以檢視各個scrapy依賴庫版本號
6.scrapy shell ** 可以進行除錯
7.scrapy bench 可以測試爬取速度
8.scrapy crawl *** -o ***.json可以儲存成各種檔案形式有json，jl，csv，xml，pickle，marshal等，還可以儲存至本地網路
9.scrapy runspider *** 可以不再專案內執行直接執行乙個爬蟲檔案
Scrapy 命令列工具
startproject 全域性命令 在當前路徑下建立乙個名為myproject的 scrapy專案 語法 scrapy startproject myproject genspider 需要專案 在當前專案中建立spider僅僅是建立spider的一種快捷方法，可以使用提前定義好的模板來生成spi...
scrapy 命令列操作
1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置 3.執行爬蟲 scrapy crawl myspider 4.錯誤檢...
scrapy爬蟲》scrapy命令列操作
1.mysql資料庫 2.mongodb資料庫 3.redis資料庫 1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置...