python 爬蟲奇思妙想

2021-09-26 02:08:49 字數 711 閱讀 1528

總結:工程化思想,requests的使用

反爬:1.robots告訴你哪些可以爬取

2.判斷header頭來限制爬蟲(你自己改就完事了)

爬取網頁:

總結:工程化,保證程式怎麼exe都不會erro

import requests

url = ""

try:

kv =

r = requests.get(url, headers = kv)

r.raise_for_status()

print(r.text)

except:

print("異常")

爬取:

總結:讀二進位制存起來

import requests

import os

url = ""

path ="c://users//administrator//desktop//aaa"

kv =

r = requests.get(url, headers = kv)

with open(path, 'wb') as f:

f.write(r.content)

f.close()

Python 關於Python的奇思妙想

1.在學列表的時候,發現python有個很強大的東西,叫列表推導式!比如說直接在列表裡定義表示式,然後輸出想要的特徵列表 然後,我還發現,python可以用來求矩陣的乘法 vec1 2,3,4 4,5,6 vec2 1,2,3 4,5,6 注意這裡相乘的只能是int,不能是列表元組等 首先輸出的是兩...

asp 奇思妙想 困惑

這幾天為學校做了幾個 發現乙個問題,有一些資料庫 大部分是access的,還有一些msql的 在設計時出現了問題,造成了資料庫裡面的很多內容是冗餘的,所以需要對資料庫進行清理。所以就開始寫了乙個asp的檔案cleandata.asp 見後文 關鍵問題在於資料庫的問題,我本來在我的機器上有測試的資料,...

奇思妙想位運算

本篇旨在記錄 奇思妙想 的位運算。int c 10 intcount c 0 0 1 while c c c 1 解析 c 1 會導致c最末尾的1 因為借位變為0,而此前最末尾的1後面必然全是0 或者1為個位 所以當c c 1 時,就相當於消去c中最末尾的乙個1。如6的二進位制是0110,6 1的二...