1 python 爬取小說

#請求網頁鏈結 獲取頁面原始碼

r = requests.get(url, headers=headers).text

doc =pq(r)

#獲取網頁的全部章節鏈結 這裡去掉了前面的最新章節部分 直接從第一章開始

#div#book_detail:nth-child(2) 選取的是第二個div的內容

links = doc('

div[@class="mulu"] li a

').items()

print

(links)

for link in

links:

download_url = link.attr('

href')

print

(download_url)

#請求每個章節

#獲取每一章節的原始碼

doc =pq(download_page)

#獲取每一章**的內容

contents = doc('

div[@class="mcc"]

').text()

with open(

'無限化.txt

', '

a+', encoding='

utf8

') as f:

f.write(link.text()+"

\n\n")

f.write(contents+"

\n\n")

print("

寫入檔案完成!請檢視

")

Python爬取小說

感覺這個夠蛋疼的，因為你如果正常寫的話，前幾次執行沒問題，之後你連 都沒改，再執行就出錯了。其實這可能是網路請求失敗，或者有反爬蟲的東西吧。但這就會讓你寫的時候非常苦惱，所以這這東西，健壯性及其重要！import requests from bs4 import beautifulsoup impo...

python 爬取小說

前些天突然想看一些 可能是因為壓力大，所以就要有補償機制吧。為了節省流量，就想著把內容爬下來，然後就可以在路上看了。於是有了下面的指令碼。usr bin env python coding utf 8 import requests from lxml import etree 為了解決unicod...

python爬取小說

一 準備 安裝 requests pyquery庫 二 使用 定義了search類 初始化時傳入 第一章url 和 名即可 再呼叫all content方法即可 coding utf8 import re import requests from requests.exceptions import...