python基礎整理複習五 爬蟲

2021-10-18 05:17:40 字數 1833 閱讀 1882

1.request來獲取頁面內容

)

# response.text #獲取url內容

# soup #格式化的 response.text

# 獲取url下的頁面內容

defget_page

(url)

: response = requests.get(url)

soup = beautifulsoup(response.text,

"lxml"

)return soup

#封裝成函式,名字為get_links,獲取租房頁面的鏈結,返回鏈結列表

爬蟲整理與複習

之前學過了一陣子的爬蟲,看的內容多且雜,彼時並未將內容融會貫通,且各處收集 較雜亂。自己也寫了一些,或是將網上的 加以修改,當時是在windows7的條件下均執行過至少一次可以達到預期效果。後轉入ubuntu系統,現再次將之前所學 系統得過一遍,達到複習效果的同時,使其亦可在linux上正常執行。做...

python基礎 複習整理筆記(一)

這是我的第一篇博文,部落格也不知道最終會變成什麼樣,但是我想從這一刻開始,從不完美開始 本文僅作為複習和補充使用,總結歸納多不系統,悉知 歡迎拍磚 交流 指正 一 我的常用工具 1.python直譯器,version 3.6 2.ide pycharm version 2017.2 anaconda...

Python爬蟲基礎講解(五) 響應

http響應報文也由三部分組成 響應行 響應頭 響應體 響應行一般由協議版本 狀態碼及其描述組成比如http 1.1 200 ok 其中協議版本http 1.1或者http 1.0,200就是它的狀態碼,ok則為它的描述。響應頭用於描述伺服器的基本資訊,以及資料的描述,伺服器通過這些資料的描述資訊,...