scrapy 中存在的問題

2021-09-10 09:08:43 字數 358 閱讀 2729

1:關於spider中的custom settings

我有乙個需求是向spider中傳入custom_settings ,但是通過__init__f方法之後發現不起作用,看了文件之後發現,必須是類的屬性才行;

這時候要傳就需要使用spider來傳了;

但是還存在的問題就是,關於一些pipeline的設定就沒了,

所以要真正的實現傳引數,就只能動態的生成spider檔案了(使用檔案的讀寫,動態的修改檔案)然後在執行;這個就會多乙個檔案多次修改,然後再執行,不用自己重複的複製貼上很多spider檔案

Scrapy實戰之儲存在MongoDB中

爬取豆瓣電影top250的電影資料 並儲存在mongodb中。scrapy startproject douban scrapy genspider doubanspider movie.douban.com class doubanspideritem scrapy.item 電影標題 title...

Scrapy實戰之儲存在Excel中

爬取自己在csdn部落格的資料 並儲存在excel中。scrapy startproject csdn scrapy genspider csdnspider blog.csdn.net blog.csdn.net coding utf 8 import scrapy class csdnitem ...

使用ckeditor中存在的問題

1.引入js ckeditor ckeditor.js script 2.定義textarea test div 3.啟用控制項 1 第一種寫法 ckeditor.replace test 指定textarea的id 2 另一種寫法,可以設定一些屬性值 ckeditor.replace test 1...