學習Python的日子 爬蟲（3）

要求：

1）楊老師的資訊

儲存的名字叫

，其他老師類似；並且都儲存到當前目錄下的

image

目錄2）楊老師的資訊儲存檔案名叫「

ygf.txt」,

其他老師類似；並且儲存到當前目錄下的

text

目錄

import re,os

import requests
def **********(teacher_tuple):
url = ""
url = url+teacher_tuple[0]
bin = requests.get(url).content
if not os.path.exists("./image"):
os.mkdir("./image")
filename = teacher_tuple[0].split('/')[1]
with open("./images/"+filename,"wb") as f:
f.write(bin)
print(filename,"寫入完成")
if not os.path.exists("./text"):
os.mkdir("./text")
textname = filename.split(".")[0]
with open("./texts/"+textname+".txt","w") as f:
content = re.sub(r"<.>", "", teacher_tuple[1])
content = re.sub(r"\s*", "", content)
f.write(content)
print(textname+".txt 寫入完成")
def html_dealer(html):
regex = re.compile(r'

python爬蟲學習筆記（3）

一般用於傳送請求和接收響應 url為必填引數，後兩個可不填 urllib.request.urlopen url,data,timeout urlopen方法返回乙個httpresponse物件 urllib.request.urlopen 此方法無法指定請求頭部，而有時必須指定請求頭部以避免被瀏覽...

爬蟲補充學習，帶Python學習3

資料分析 1.提出正確的問題 2.通過資料論證尋找答案 3.解讀資料 回答問題 1.jupyter notebook jupyter notebook 此前被稱為 ipython notebook 是乙個互動式筆記本，支援執行 40 多種程式語言。jupyter notebook 的本質是乙個 we...

python3爬蟲學習（一）

剛簽完offer沒事幹，之前斷斷續續學過一點爬蟲，又想著再次學習一下，希望這次能堅持下來，好好的學習。爬蟲 顧名思義，在整個網路系統中，像蜘蛛一樣，爬啊爬啊，每到乙個節點，就記錄該節點的資料，以及是否訪問過。所謂的節點，在網路中就是我們常說的 整個爬蟲的過程就類似於廣度優先搜尋 bfs 乙個網路。實...