python中urllib模組用法例項詳解

2022-10-04 23:51:22 字數 2030 閱讀 9467

一、問題:

近期公司專案的需求是根據客戶提供的api,我們定時去獲取資料, 之前的方案是用php收集任務存入到redis佇列,然後在linux下做乙個常駐程序跑某乙個p程式設計客棧hp檔案, 該php檔案就乙個無限迴圈,判斷redis佇列,有就執行,沒有就break.

二、解決方法:

最近剛好學了一下python, python的urllib模組或許比php的curl更快,而且簡單. 貼一下**

複製** **如下:

發現第一次訪問所需要的時間為[finished in 3.0s]

而第二次訪問的時間為[finished in 0.2s]

可見python的urllib模組是加有快取的

urllib/2用法典型的例子

複製** **如下:

程式設計客棧import urllib2

import cookielib

import urllib

class hi_login:

def __init__(self):

cookie = cookielib.cookiejar()

self.cookie = urllib2.httpcookieprocessor(cookie) ##### 生成cookie ###

def login(self,user,pwd):

url=''

postdata=urllib.urlencode()

### proxy_support = urllib2.proxyhandler() 然後加入opener方法裡####

opener = urllib2.build_opener(self.cookie) ### 使用cookie ###

headers =

urllib2.install_opener(opener)

request = urllib2.request(url,urllib.urlencode(postdata),headers = headers)

urllib2.urlopen(request)

if __name__=='__main__':

pwd='123456'

程式設計客棧   user='xiaofu'

test=hi_login()

test.login(user,pwd)

假如訪問需要認證的頁面比如nagios監控頁面等,

複製** **如下:

返回結果200,否則就是401認證錯誤

本文標題: python中urllib模組用法例項詳解

本文位址:

Python中urllib模組的使用

建立乙個表示遠端url的類檔案物件,然後像本地檔案一樣操作這個類檔案物件來獲取遠端資料。引數url表示遠端資料的路徑,一般是 引數data表示以post方式提交到url的資料 玩過web的人應該知道提交資料的兩種方式 post與get。如果你不清楚,也不必太在意,一般情況下很少用到這個引數 引數pr...

Python核心模組 urllib模組

現在python基本入門了,現在開始要進軍如何寫爬蟲了!先把最基本的urllib模組弄懂吧。開啟乙個url的方法,返回乙個檔案物件,然後可以進行類似檔案物件的操作。本例試著開啟google import urllib f urllib.urlopen firstline f.readline 讀取h...

Python模組之urllib模組

py2.x urllib庫 urllin2庫 py3.x urllib庫 變化 在pytho2.x中使用import urllib2 對應的,在python3.x中會使用import urllib.request,urllib.error。在pytho2.x中使用import urllib 對應的,...