scrapy 命令列建立 啟動 跟蹤

2022-07-30 00:21:11 字數 447 閱讀 5199

不是python檔案中的,而是在虛擬機器中執行的命令列,先要workon進入虛擬環境

2.scrapy 框架的使用

-1.新建專案

命令:scrapy startproject [project_dir]

注意:cd到想要建立專案的目錄下

-2.編寫爬蟲

-手動編寫

-1.繼承scrapy.spider

-2.name屬性

-3.start_urls

-4.parse方法

-命令列:scrapy genspider [-t template] 

scrapy genspider tzc

www.shiguangkey.com

-3.啟動爬蟲

-scrapy crawl 

-4.追蹤連線

return scrapy.request() 

Scrapy 命令列工具

startproject 全域性命令 在當前路徑下建立乙個名為myproject的 scrapy專案 語法 scrapy startproject myproject genspider 需要專案 在當前專案中建立spider僅僅是建立spider的一種快捷方法,可以使用提前定義好的模板來生成spi...

scrapy 命令列操作

1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置 3.執行爬蟲 scrapy crawl myspider 4.錯誤檢...

scrapy爬蟲》scrapy命令列操作

1.mysql資料庫 2.mongodb資料庫 3.redis資料庫 1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置...