Scrapy遞迴抓取資料存入資料庫（示例二）

參考：

scrapy爬取了鏈結之後，如何繼續進一步爬取該鏈結對應的內容？

parse可以返回request列表，或者items列表，如果返回的是request，則這個request會放到下一次需要抓取的佇列，如果返回items，則對應的items才能傳到pipelines處理（或者直接儲存，如果使用預設feedexporter）。那麼如果由parse()方法返回下乙個鏈結，那麼items怎麼返回儲存？request物件接受乙個引數callback指定這個request返回的網頁內容的解析函式（實際上start_urls對應的callback預設是parse方法），所以可以指定parse返回request，然後指定另乙個parse_item方法返回items：

以爬取南京大學bbs為例：

1. spider下的檔案：

authorindex =content.index('信區')

author = content[11:authorindex-2]

boardindex = content.index('標 題')

board =content[authorindex+8:boardindex-2]

timeindex = content.index('南京大學小百合站 (')

time = content[timeindex+26:timeindex+50]

return (author,board,time)

#content = content[timeindex+58:]

#return (author,board,time,content)

def parse2(self,response):

hxs =htmlxpathselector(response)

item = response.meta['item']

items =

content =hxs.select('/html/body/center/table[1]/tr[2]/td/textarea/text()').extract()

parsetuple = self.parsecontent(content)

item['author'] =parsetuple[0].decode('utf-8')

item['board']=parsetuple[1].decode('utf-8')

item['time'] = parsetuple[2]

#item['content'] = parsetuple[3]

return items

def parse(self,response):

hxs = htmlxpathselector(response)

items =

title=hxs.select('/html/body/center/table/tr[position()>1]/td[3]/a/text()').extract()

url=hxs.select('/html/body/center/table/tr[position()>1]/td[3]/a/@href').extract()

for i in range(0, 10):

item =bbsitem()

item['link'] = urljoin_rfc('', url[i])

item['title'] = title[i][:]

for item in items:

yield request(item['link'],meta=,callback=self.parse2)

2. pipelines檔案：

# -*- coding: utf-8 -*-

3. 設定setting.py：
item_pipelines =['tutorial.pipelines.mysqlstorepipeline']
 
Scrapy遞迴抓取資料存入資料庫（示例二）
參考 scrapy爬取了鏈結之後，如何繼續進一步爬取該鏈結對應的內容？parse可以返回request列表，或者items列表，如果返回的是request，則這個request會放到下一次需要抓取的佇列，如果返回items，則對應的items才能傳到pipelines處理 或者直接儲存，如果使用預設...
定時抓取資料並存入資料庫
其實，這部分主要是實現定時抓取資料的程式，資料的抓取以及儲存程式已寫 從tushare獲取歷史 資料 抓取交易日 周一到周五 資料，定時為每天的15 30抓取，其中主要使用到了schedule模組用於定時執行任務 如下 import schedule import time from datetim...
Scrapy爬取資料存入Mongodb中
這次使用scrapy簡單的爬取一些多列表電影資料，儲存在csv檔案及json檔案中，最後把這些資料全部儲存在mongodb中。涉及的知識點有pipeline，yield，中介軟體，xpath，items 的使用。coding utf 8 import scrapy from douban.items...