Python爬蟲 scrapy框架log日誌設定

scrapy提供5層logging級別:

1. critical - 嚴重錯誤

2. error - 一般錯誤
3. warning - 警告資訊
4. info - 一般資訊
5. debug - 除錯資訊

以下配置均未預設值

# 是否啟用日誌

log_enabled=
true
# 日誌使用的編碼
log_encoding=
'utf-8'
# 日誌檔案(檔名)
log_file=
none
# 日誌格式
log_format=
'%(asctime)s [%(name)s] %(levelname)s: %(message)s'
# 日誌時間格式
log_dateformat=
'%y-%m-%d %h:%m:%s'
# 日誌級別 critical, error, warning, info, debug
log_level=
'debug'
# 如果等於true，所有的標準輸出（包括錯誤）都會重定向到日誌，例如：print('hello')
log_stdout=
false
# 如果等於true，日誌僅僅包含根路徑，false顯示日誌輸出元件
log_short_names=
false

# setting.py

from datetime import datetime
# 檔案及路徑，log目錄需要先建好
today = datetime.now(
)log_file_path =
"log/scrapy_{}_{}_{}.log"
.format
(today.year, today.month, today.day)
# 日誌輸出
log_level =
'debug'
log_file = log_file_path

import logging

logger = logging.getlogger(__name__)
logger.warning(
"this is a warning"
)

import scrapy

class
myspider
(scrapy.spider)
: name =
'myspider'
start_urls =
['']def
parse
(self, response)
: self.logger.info(
'parse function called on %s'
, response.url)

參考

Python爬蟲學習（七）Scrapy爬蟲框架詳解

engine從spider處獲得爬取請求 request engine將爬取請求 給scheduler，用於排程 engine從scheduler處獲得下乙個要爬取的請求 engine將爬取請求通過中介軟體傳送給 爬取網頁後，形成響應 response 通過中介軟體發給engine engine將收...

Mac python 搭建scrapy爬蟲框架

1 在mac上安裝好python3，以及相關元件 2 進入python3的虛擬環境 workon env3.7 3 安裝scrapy pip install scrapy 4 建立乙個scrapy專案 4.1選擇路徑專案路徑 cd users panstark pycharmprojects 4.2...

Python爬蟲 scrapy框架

開源的,對平台的爬蟲框架 舊版本 需要預先定義所需欄位 class myitem scrapy.item url scrapy.field 再將所需欄位填充 class myspier scrapy.spider defparse self,response return sudo apt inst...