利用requests庫訪問360主頁20次

一、安裝

1、cmd進入命令列介面

2、直接輸入 d:切換至d盤（python所在路徑），

然後cd  python下的scripts所在路徑，切換至pip所在位置

3、pip install requests  即可安裝requests

其中，pip版本過低時，使用：python -m pipinstall --upgrade pip公升級pip版本

二、requests的使用

迴圈訪問乙個網頁多次：

import

requests
url = '
'fout = open('
result.txt
', 'w'
)for i in range(10):
r=requests.post(url)
fout.write(url+'
： ok withstatus_code: 
'+str(r.status_code))
print(url+'
： ok withstatus_code: 
'+str(r.status_code))
fout.close()

爬取中國大學排行

import

requests
from bs4 import
beautifulsoup
import
bs4from pandas import
dataframe
defgethtml(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
#解碼格式
return
r.text
except
: 
print("
獲取錯誤")
defmovetolist(ulist, html):
soup = beautifulsoup(html, "
html.parser")
#print(soup.find('tbody').childern)
#找到目標資料標籤，遍歷tbody的孩子
for tr in soup.find('
tbody
').children:
#過濾,如果tr的型別是bs4.element.tag，那就是目標型別
ifisinstance(tr, bs4.element.tag):
#print(tr)
#將所有td標籤（列值）儲存到列表中
tds = tr('td'
) 
#將每個列表新增到大列表中作為乙個元素，只取前三列（排名，大學，省份）的string(內容)
defprinthtml(ulist,num):
tplt="
\t^10}\t
"print(tplt.format("
排名", "
學校名稱
", "
省份",chr(12288)))
for i in
range(num):
u=ulist[i]
print(tplt.format(u[0], u[1], u[2],chr(12288)))
pass
defmain():
url = "
"html =gethtml(url)
#print(html)
uinfo =
movetolist(uinfo, html)
frame=dataframe(uinfo)
#這裡可以將內容輸出到csv檔案，data是專案下的包，修改相對路勁即可
#frame.to_csv("../data/bestuniversity.csv",index=0)
printhtml(uinfo,20)
main()

Python利用Requests庫寫爬蟲（一）

coding utf 8 import requests url r requests.get url print r.text coding utf 8 import requests url payload r requests.get url,params payload print r.te...

利用requests庫進行爬蟲簡介

其實最常使用的方式也就事 get 和 post 分別用於獲取和上傳,即分別用於資料性 和檢索性 get簡單粗暴,就介紹一下post post 請求 通常，你想要傳送一些編碼為表單形式的資料 非常像乙個 html 表單。要實現這個，只需簡單地傳遞乙個字典給 data 引數。你的資料字典在發出請求時會自...

python使用requests訪問etcd

由於本人專案中etcd的版本略低，不適用於python etcd,etcd3這類第三方擴充套件包，所以呢，自己寫了用requests請求的方法，放在這裡，給需要的人。首先，etcd的請求可以使用 的方式 廢話不多說，上 class etcdoperate def init self 初始化 基礎ur...