scrapy的日誌記錄有兩種方式：
spider.logger.xx()和python標準庫中的logger = logging.get_logger('log information')
向日誌物件寫入資訊就可以記錄日誌。
預設的日誌是輸出到控制台的，為了進一步處理這些日誌，需要有統一的處理程式進行處理，這就是scrapy中自帶的日誌管理器，為了使用這個管理器，就需要在settings.py檔案中進行配置。
log_file 和 log_enabled 決定日誌訊息目的地。
當您設定了 log_encoding ，它不會顯示日誌輸出訊息。
log_level 設定確定訊息的嚴重性順序;嚴重程度不高的訊息將被過濾掉。
log_format 和 log_dateformat 用於指定所有訊息的布局。
當您設定 log_stdout 為 true ，所有的程序的標準輸出和錯誤訊息將被重定向到日誌中。
在命令列模式下也可以修改日誌配置
1—logfile file
覆蓋 log_file
2—loglevel/-l level
覆蓋 log_level
3—nolog
設定 log_enabled 為 false
參考：
scrapy使用筆記
我是用anaconda安裝的scrapy 安裝完成，使用scrapy 建立爬蟲工程，之後把工程資料夾整個移動到ecipse，配置下run configure就可以執行了 初步了解了下xpath語法，會簡單地使用xpath摳取網頁裡面的內容 例子 td class hello 選取所有class標籤為...
scrapy使用筆記
1.先裝python環境 2.安裝pip 3.使用pip安裝 pip install lxml 3.4.2 有報錯提示 考慮到是網路不穩定的問題，這時我們用國內的映象源來加速 用pip安裝依賴包時預設訪問，但是經常出現不穩定以及訪問速度非常慢的情況，國內廠商提供的pipy映象目前可用的有 參考文章 ...
scrapy 開發日誌
1 配置scrapy除錯 在工程檔案下新建python資料夾main.py用於除錯專案 當然還可以使用pdb進行除錯 main.py from scrapy.cmdline import execute import sys import os execute scrapy crawl buycar...