python標準庫之 urllib

2022-06-26 11:33:09 字數 905 閱讀 5760

常用的python標準庫有:

2)time datatime(時間與日期相關)

3)科學計算相關 (math)

4)網路請求相關(urlib)

在python2中,用的是urllib2。在python3中,將urllib2封裝在了urllib.request中了。常用的方法:

urllib.request.urlopen()    提供了最基本的構造 http (或其他協議如 ftp)請求的方法,利用它可以模擬瀏覽器的乙個請求發起過程。利用不同的協議去獲取 url 資訊。它的某些介面能夠處理基礎認證 ( basic authenticaton) 、redirections (http 重定向)、 cookies (瀏覽器 cookies)等情況。而這些介面是由 handlers 和 openers 物件提供的

data: post 提交的資料, 預設為 none ,傳送乙個get請求到指定的頁面,當 data 不為 none 時, urlopen() 提交方式為 post timeout:設定**訪問超時時間

urlopen 返回乙個類檔案物件,並提供了如下方法:

read() , readline() , readlines() , fileno() , close() :這些方法的使用方式與檔案物件完全一樣;

info():返回乙個httplib.httpmessage物件,表示遠端伺服器返回的頭資訊;可以通過quick reference to http headers檢視 http header 列表。

geturl():返回獲取頁面的真實 url。在 urlopen(或 opener 物件)可能帶乙個重定向時,此方法很有幫助。獲取的頁面 url 不一定跟真實請求的 url 相同

爬蟲 Python爬蟲學習筆記之Urllib庫

1.urllib.request開啟和讀取url 2.urllib.error包含urllib.request各種錯誤的模組 3.urllib.parse解析url 4.urllib.robotparse解析 robots.txt檔案 傳送get請求 引入urlopen庫 用於開啟網頁 from u...

Python標準庫之time, datetime包

python具有良好的時間和日期管理功能。實際上,計算機只會維護乙個掛鐘時間 wall clock time 這個時間是從某個固定時間起點到現在的時間間隔。時間起點的選擇與計算機相關,但一台計算機的話,這一時間起點是固定的。其它的日期資訊都是從這一時間計算得到的。此外,計算機還可以測量cpu實際上執...

Python標準庫之asyncio

asyncio是python 3.4版本引入的標準庫,直接內建了對非同步io的支援。asyncio的程式設計模型就是乙個訊息迴圈。我們從asyncio模組中直接獲取乙個eventloop的引用,然後把需要執行的協程扔到eventloop中執行,就實現了非同步io。用asyncio實現hello wo...