爬取雙色球開獎

2021-09-26 19:01:11 字數 1799 閱讀 7191

爬取雙色球開獎資訊

實驗目的

了解http.cookiejar和cookie,了解如何獲取瀏覽器的header。

實驗要求

掌握如何獲取瀏覽器headers的方法。

本實驗需要外網連線。

實驗原理

http.cookiejar簡介

有的**,特別像社交**,需要登陸才能抓取到**的資料,那麼光模擬瀏覽器請求**內容是還不夠了,還需要能夠模擬使用者登陸**,然後保留登陸狀態,獲取**相關的內容。

想要成功模擬真實使用者登陸,重點要找到登入時候提交表單都包含了哪些真實的資料。然後使用python生成這些資料,攜帶在請求頭資訊當中,這樣伺服器就能當做正常的訪客,返回正確的資訊。一般需要攜帶cookie,post表單資料即可,成功通過驗證後,可以訪問其他需要登入才可以獲取的內容。

使用headers偽裝成瀏覽器進行訪問

有的**比如說如果用原始的urllib庫來訪問,則會返回403拒絕訪問的錯誤資訊。這是因為有部分**禁止除瀏覽器之外的方法進行訪問。

需要在傳送請求的時候加入headers資訊,偽裝成瀏覽器,這樣就不會出現403的錯誤了。抓取頻繁時還需要變化head資訊和採用**ip的方式。

下面是乙個最簡單的使用headers的例子。

print(number + '期開獎號碼:',end='')

redtmp = tr.split('')

reds = redtmp[1:len(redtmp)-1]#去掉第乙個和最後乙個沒用的元素

for redstr in reds:

print(redstr.split('')[0] + ",",end='')

print('藍球:',end='')

blue = tr.split('')[1].split('')[0]

print(blue)

執行命令

python3 lottery.py

結果如下:

![在這裡插入描述](

python爬取雙色球以往開獎號碼

爬取雙色球開獎號碼 import requests import re defcrawl twoball page 10001 爬取網頁路徑 url str page shtml reponse requests.get url html reponse.text 檢測是否有這期 notfound ...

python爬取雙色球歷史資料 爬取雙色球歷史資料

爬取雙色球歷史資料 需要的包 beautifulsoup install 指令碼如下 執行後生成的資料json處理後存在data檔案中 coding utf 8 import urllib import re import json from bs4 import beautifulsoup li ...

用C語言模擬雙色球開獎

問題描述 雙色球是中國福利彩票目前最火的一種玩法。而彩票是以抽籤給獎方式進行籌款或斂財所發行的憑證,並非是賭博,每天都有上億的彩民關注著雙色球的開獎結果。其彩票投注區分為紅色球號碼區和藍色球號碼區,每注投注號碼由6個紅色球和1個藍色球號碼組成。紅色球號碼從1 33中選擇,藍色球號碼從1 16中選擇每...