,'口吐芬芳'
)def
downloadpraise()
: download(
,'拍馬屁'
)def
downloadchickensoup()
: download(
,'毒雞湯'
)def
download
(url, name)
:# 存放所有的話語
all=
set(
)# 迴圈20次
for i in
range(20
):# 設定隨機頭
headers =
# 請求url
request = requests.get(url, headers=headers, timeout=10)
# 設定編碼
request.encoding =
'utf-8'
# 請求到的內容
html = request.text
# 把話語加入集合
all.add(html)
# 睡眠一秒，將心比心
time.sleep(1)
('睡眠結束'
)# 把話語寫入檔案
with
open
(name +
'.txt'
, mode=
'w', encoding=
'utf-8')as
file
:for i in
list
(all):
file
.write(i +
'\n'
)if __name__ ==
'__main__'
: downloadchickensoup(
)
python動態爬取知乎 python爬取微博動態
在初學爬蟲的過程中，我們會發現很多 都使用ajax技術動態載入資料，和常規的 不一樣，資料是動態載入的，如果我們使用常規的方法爬取網頁，得到的只是一堆html 沒有任何的資料。比如微博就是如此，我們可以通過下滑來獲取更多的動態。對於這樣的網頁該如何抓取呢？我們以微博使用者動態為例，抓取某名使用者的文...
Python爬取小說
感覺這個夠蛋疼的，因為你如果正常寫的話，前幾次執行沒問題，之後你連 都沒改，再執行就出錯了。其實這可能是網路請求失敗，或者有反爬蟲的東西吧。但這就會讓你寫的時候非常苦惱，所以這這東西，健壯性及其重要！import requests from bs4 import beautifulsoup impo...
python 爬取小說
前些天突然想看一些 可能是因為壓力大，所以就要有補償機制吧。為了節省流量，就想著把內容爬下來，然後就可以在路上看了。於是有了下面的指令碼。usr bin env python coding utf 8 import requests from lxml import etree 為了解決unicod...