Python爬蟲基礎 一 簡單的url請求

2021-07-04 05:36:42 字數 1139 閱讀 6390

#encoding:utf-8

import urllib

import urllib.request

# data是乙個字典,然後通過urllib.parse.urlencode()將data轉換為'wd = 904727147'的字串

#最後和url合併為full_url

# urllib.request是乙個庫,隸屬urllib,urllib是乙個收集了很多處理url的包,開放**的可擴充套件庫。

# urllib.request模版定義了很多功能函式和類,這些類和函式幫助以文件的形式開啟urls

# requests package被公認為是更高階別的http客戶端介面

# urllib.request定義了如下的函式功能:

# urllib.reuqest.urlopen(url,data=none,[timeout,]*,cafile = none,cadefault = false,context = none)

# 開啟**,它可以是乙個字串或乙個請求物件。引數data必須是乙個位元組物件,

#傳送給伺服器的附加資料,如果不需要附加資料,這個引數也可以是空的。這個data也可以乙個迭代物件,

#內容長度值必須在標頭檔案中指定。目前http請求是唯一需要使用資料data的。當data引數被提供的時候,http請求將會是乙個post而不是get型請求。

# 對於http和https位址,這個函式返回乙個 http.client.httpresponse物件,

#這個物件有 httpresponse objects 方法

# httpresponse.read([amt])讀取並返回響應體,或到下乙個amt位元組

data={}

data['wd'] = '904727147'

url_values = urllib.parse.urlencode(data)

url = ""

full_url = url + url_values

data = urllib.request.urlopen(full_url).read()

data = data.decode('utf-8')

print(data)

鐘志遠  江蘇南京  904727147

python爬蟲簡單 python爬蟲 簡單版

學過python的帥哥都知道,爬蟲是python的非常好玩的東西,而且python自帶urllib urllib2 requests等的庫,為爬蟲的開發提供大大的方便。這次我要用urllib2,爬一堆風景。先上重點 1 response urllib2.urlopen url read 2 soup...

Python 3 爬蟲(一) 簡單的爬蟲

url 組成部分 protocol hostname port path protocol 協議 hostname port 主機名,埠名為可選引數 path 主機資源的具體位置網域名稱和伺服器名e.g.www.baidu.com baidu.com 網域名稱 www 伺服器名官方文件 urllib...

python 爬蟲基礎筆記(一)

筆記記錄來自慕課網 imooc 例 import urllib2,cookielib 建立cookie容器 cj cookielib.cookiejar 建立1個opener 給urllib2安裝opener urllib2.install opener opener 使用帶有cookie的urll...