網路爬蟲 05

**scrapy框架**

**小試牛刀**

**瓜子二手車直賣網 - 一級頁面**

**作業**

from selenium import webdriver

options = webdriver.chromeoptions(
)# 新增無介面引數
options.add_argument(
'--headless'
)browser = webdriver.chrome(options=options)

from selenium import webdriver

# 匯入滑鼠事件類
from selenium.webdriver import actionchains
driver = webdriver.chrome(
)driver.get(
'')# 移動到 設定，perform()是真正執行操作，必須有
element = driver.find_element_by_xpath(
'//*[@id="u1"]/a[8]'
)actionchains(driver)
.move_to_element(element)
.perform(
)# 單擊，彈出的ajax元素，根據鏈結節點的文字內容查詢
driver.find_element_by_link_text(
'高階搜尋'
).click(
)

【1】執行3條命令,建立專案基本結構

【2】完成爬蟲檔案: spiders/baidu.py
【3】完成settings.py配置
3.1) robotstxt_obey =
false
3.2) default_request_headers =
【4】執行爬蟲
4.1) 建立run.py(和scrapy.cfg同路徑)
【5】執行 run.py 執行爬蟲

【1】抓取瓜子二手車官網二手車收據（我要買車）

/#bread
url規律: o1 o2 o3 o4 o5 ...
... 
【3】所抓資料
3.1) 汽車鏈結
3.2) 汽車名稱
3.3) 汽車**

【1】使用selenium+瀏覽器 獲取有道翻譯結果

【2】使用selenium+瀏覽器 登入網易qq郵箱 : https:
【3】使用selenium+瀏覽器 登入網易163郵箱 : https:
【4】熟記scrapy的五大元件,以及工作流程,能夠描述的很清楚

Mooc爬蟲05 scrapy框架

1 scrapy框架的介紹安裝 pip install scrapy檢視是否安裝完成 scrapy hscrapy框架是實現爬蟲功能的乙個軟體結構和功能元件集合 scrapy爬蟲框架的結構 這5 2的結構,就是scrapy框架 主要有三條主要的資料流路徑 第一條路徑 1 engine通過中介軟體獲得...

筆記 爬蟲基礎 資料儲存 05

python連線mysql資料庫 1.安裝pymysql pip install pymysql import pymysql 1.使用pymysql.connect方法鏈結資料庫 db pymysql.connect host localhost port 3306 user root passw...

網路爬蟲 多執行緒爬蟲

多執行緒爬蟲 import threading class one threading.thread def init self threading.thread.init self def run self for i in range 0,10 print 我是執行緒1 class two th...