後來反覆查詢（主要是在scrapy下不好單步除錯，很難定位到具體原因），才發現時allowed_domains的原因，應該改為：
name = 『jd』
allowed_domains = [『jd.com』] # very importtant
切記：京東的網域名稱是jd.com而不是jindong.com.
設定allowed_domains的含義是過濾爬取的網域名稱，在外掛程式offsitemiddleware啟用的情況下（預設是啟用的），不在此允許範圍內的網域名稱就會被過濾，而不會進行爬取。對於start_urls裡的起始爬取頁面，它是不會過濾的，它的作用是過濾首頁之後的頁面！
scrapy 爬取京東商品列表
import scrapy class jdspider scrapy.spider scrapy crawl name便是由這個name決定的 name jd def start requests self url yield scrapy.request url url,callback sel...
scrapy爬取京東iPhone11評論（一）
諮詢行業中經常接觸到文字類資訊，無論是分詞做詞雲圖，還是整理編碼分析用，都非常具有價值。1.scrapy開始建立專案 2.進入建立的專案目錄 cd projectname 3.以預設的basic模板建立第乙個爬蟲 scrapy genspider spidername www.hostdomain....
用scrapy迴圈爬取京東資料匯入Mysql
感覺網上用scrapy爬京東資料的文章挺多的，但是我還是想自己寫一遍吧。京東是有反爬機制的，所以我用到使用者 偽裝成瀏覽器。爬取資料是京東 的手機資訊 url 大概是9000多條資料，不在列表之內的商品沒有算在內。我遇到的問題 1 使用者 最好是用方法 use proxy 封裝起來，因為自己之前就是...