使用scrapy框架進行爬蟲需要注意的

1.start_urls 內的**要補充完整

2.在獲取資料時，如果我們想要先獲取先獲取某一整塊內容，然後再從此內容中獲取單個零碎資訊

比如

def parse(self, response):

ul_list = response.xpath('//ul[@class="post small-post"]') #一小整塊
print(ul_list)
for ul in ul_list:
title = ul.xpath('.//div[@class="cover"]/@cover-text').extract() #取出整塊內的區域性

如果型別為scrapy.selector 那麼這個物件可以被繼續迭代， 也可以被xpath繼續尋找裡面的內容

如果上面獲取的ul_list 後面加上extract（） 那麼下面的xpath將不能用

3.scrapy crawl meikong -o meikong.xml

meikong是美空拼音，檔名

將檔案儲存為指定型別 支援四種資料型別

4.valueerror:missing scheme in request url:h

相關url必須是乙個list，所以遇到該錯誤只需要將url轉換成list即可

5.在進行多頁操作的時候

將url傳給scrapy.request 得到的結果繼續用self.parse進行處理

if len(next_url) !=0:

#print(next_url)
url = '' + next_url[0]
#將url傳給scrapy.request 得到的結果繼續用self.parse進行處理
yield scrapy.request(url=url,callback=self.parse)

很多時候在傳遞url時 都是需要拼接的  注意url的形式 ，如 / ，避免出現錯誤

'scrapt.pipelines.images.imagespipeline':1

jsondata = json.loads(response.text)

#需要引入items 設定字段

item = ***xitem()
item['img_url'] = [img_url]
item[name] = name

img_url = scrapy.field()

name = scrapy.field()

10.關於獲取全部文字的方式，詳細見上次部落格內容

if len(author)  !=0:

# 獲取標籤內部全部文字的幾種方式
# 1.獲取最外層標籤，遍歷內部所有的子標籤，獲取標籤文字
# 2.正則去掉所有標籤，re.compile.sub()
# 3./text() 獲取標籤的文字 //text() 獲取標籤以及子標籤的文字
content_list = div.xpath('.//div[@class="d_post_content j_d_post_content "]//text()').extract()
# 4 使用xpath('string(.)'),這種方式來獲取所有文字並拼接
content = div.xpath('.//div[@class="d_post_content j_d_post_content "]').xpath('string(.)').extract()[0]+'\n'
self.f.write(content)
print(content_list)
remove = re.compile('\s')
douhao = re.compile(',')
content = ''
for string in content_list:
string = re.sub(remove,'',string)
string = re.sub(douhao,'',string)
# print(string)
content +=string+','
print(content)

yield scrapy.request(url=url,meta=,callback=self.get_content_with_url)

#把url 和 meta的值傳到另個函式中 
def get_content_with_url(self,response):

利用scrapy框架進行爬蟲

1.安裝2.用scrapy爬蟲四步走 第一步 編寫items.py 第二步 編寫spiders下的 py 檔案 第三步 編寫pipelines.py檔案 第四步 開啟settings.py 檔案更改配置 3.基於scrapy爬蟲框架，只需在命令列中輸入 scrapy startproject 命令，...

scrapy爬蟲框架

作者經過幾周的python爬蟲實踐之後，深入學習了一下scrapy這個爬蟲框架，現將一些基本知識和 總結整理一下，以備後查。2.scrapy的命令列使用 這部分網上很多部落格都有總結，不需要背，理解會用主要的命令 startproject crawl fetch list genspider.即可，...

scrapy 爬蟲框架

1.安裝 公升級pip版本 pip install upgrade pip 通過pip安裝scrapy框架 pip install scrapy 安裝成功 只執行scrapy 進行測試是否安裝成功 2.scrapy startproject 爬蟲專案名稱 執行此命令,可以生成乙個爬蟲專案 會預先生成...