爬蟲設計模式總結

2022-04-01 11:18:39 字數 531 閱讀 9279

總結

a,分析http請求

1,請求方式

2,url

3,2種本質格式:form data(request.post()), request payload(json資料型別)

4,請求頭:

--user-agent:當前使用者使用的裝置(request.get(www.zhihu))

--referer : 上一次請求的url攜帶過來('weixingongzhonghao')

--host:網域名稱

--cookie :cookie本質上也是請求頭

b,**

爬蟲目的:  偽造瀏覽器,作出的一系列行為。

1,requests模組,通過它傳送請求。拿回來字串

2,beautifulsoup,對拿回來的字串進行解析。把字串結構化成物件,對物件進行操作。

web:

--請求頭,請求體

--cookies

--csrf

過程總結:

-- 檢測網路請求

-- 嘗試

設計模式總結

http www.chenjiliang.com article view.aspx?articleid 6708 比較 設計模式 常用程度 適用層次 引入時機 結構複雜度 abstract factory 比較常用 應用級設計時 比較複雜 builder 一般 級 編碼時一般 factory me...

設計模式總結

模式相關的描述 裝飾者 包裝乙個物件,以提供新的行為 狀態 封閉了基於狀態的行為,並使用委託在行為之間切換 迭代器 在物件的集合之間遊走,而不暴露集合的實現 外觀 簡化一群類的介面 策略 封閉可以互換的行為,並使用委託來決定要使用哪乙個 包裝物件,以控制對此物件的訪問 工廠方法 由子類來決定要建立的...

設計模式總結

這類模式的特質是管理物件的建立過程。通常設計總是以使用工廠方法開始,當設計者發現需要更大的靈活性時,設計會向其它建立型模式演化。工廠方法模式 單例模式 抽象工廠方法模式 建造者模式 原型模式 簡單工廠模式 這類模式從程式的結構上解決模組之間的耦合問題。介面卡模式 裝飾模式 橋接模式 組合模式 享元模...