Python學爬蟲的課程備忘

2021-08-28 21:02:19 字數 1671 閱讀 6843

至於版權,那還是算嵩老師的。

#crawunivrankingb.py

import requests

from bs4 import beautifulsoup

import bs4

def gethtmltext(url):

try:

r = requests.get(url, timeout=30)

r.raise_for_status()

return r.text

except:

return ""

def fillunivlist(ulist, html):

soup = beautifulsoup(html, "html.parser")

for tr in soup.find('tbody').children:

if isinstance(tr, bs4.element.tag):

tds = tr('td')

def printunivlist(ulist, num):

tplt = "\t^10}\t"

print(tplt.format("排名","學校名稱","總分",chr(12288)))

for i in range(num):

u=ulist[i]

print(tplt.format(u[0],u[1],u[2],chr(12288)))

def main():

uinfo =

url = ''

html = gethtmltext(url)

fillunivlist(uinfo, html)

printunivlist(uinfo, 20) # 20 univs

main()

#!/usr/bin/python

# -*- coding: -*-

import requests

def gethtmltext(url):

try:

r = requests.get(url,timeout = 30)

r.raise_for_status()

return r.text

except:

return '網路錯誤'

python爬蟲小程式 python爬蟲學習小程式

coding utf 8 name 模組1 purpose author mrwang created 18 04 2014 licence import urllib def main url html urllib.urlopen url print html.read 讀取內容 print h...

關於Python和爬蟲課程上線的通知

此次上線兩門課,均為python開發相關。想要具備最新 最熱的程式語言python開發能力嗎?想要快速進入大資料開發相關領域嗎?2天搞定python基礎 python3網路爬蟲基礎實戰 具體內容如下 課程目錄 1 選擇python,選擇光明 1.1 python起源 1.2 python應用領域 1...

學python爬蟲第三天

這個就需要手動去 裡面找cookie 然後複製到 裡,超長cookie import requests 定義請求的url url 定義請求頭資訊 headers 發起get請求 res requests.get url url,headers headers 獲取相應狀態碼 code res.sta...