使用scrapy爬蟲時遇到的問題

2021-10-04 17:27:19 字數 552 閱讀 3618

例如下圖,execute函式中有3個引數,第三個元素決定著不同的網頁

需要注意的是,第三個元素是.py檔案中class的name屬性,而不是檔名:

基礎知識:

css選擇器的練習題:

xpath:右擊元素選擇copy—>copy xpath即可獲得xpath路徑

css:1.安裝chropath外掛程式(谷歌瀏覽器的商店裡可以找到),右擊元素選擇copy—>copy selector

2.通過快捷鍵fn+f12進入開發者模式,步驟如下圖:

一般乙個網頁不設二個或二個以上同id的div,但class可以多個div用同乙個class標籤。

參考:

Windows安裝Scrapy時遇到的問題

今天博主在安裝scrapy時,遇到不少的問題,為防止以後再次出現類似錯誤,在此做下記錄。1 安裝python 其他的安裝細節,就不在這詳細說明,網上很多python各個版本的安裝教程 2 安裝scrapy 安裝完python之後,開啟windows命令列,輸入命令 pip install scrap...

使用scrapy開啟爬蟲

scrapy startproject test 建立專案 建立的檔案介紹 scrapy.cfg 專案配置檔案,專案配置檔案路徑部署資訊 items.py 定義item資料結構的地方 settings.py 是專案的設定檔案,可以定義專案的全域性設定 spiders資料夾 編寫xpath和正規表示式...

飛機大戰專案 使用pycharm時遇到的問題

今日想練習下飛機大戰的專案.在ubuntu系統上安裝了乙個pycharm.file settings editor font 即可調節字型大小 file settings 選擇專案projects project interpreter 選擇已存在的python直譯器 的安裝路徑 是因為預設了vim...