乙個簡單的爬蟲專案（爬取小說）

1.工具介紹

1.1我們所需要用到第三方庫

requests #爬蟲所需要的最基本的第三方庫

re #正規表示式

1.2安裝的方式

pip install requests

pip install re

import requests

import re

url =

''

response = requests.get(url)

設定乙個引數接受我們請求響應的物件的文字內容

html_data = response.text

result_list = re.findall(

'.*', html_data)
top_10 = result_list[1:11]

for

topin top_10:
all_url =
'' + top
response_2 = requests.get(all_url)
html_data_2 = response_2.text
title = re.findall(
'', html_data_2, re.s)
[0] contend = re.findall(
'(.*?)
', html_data_2, re.s)
[0] print(title, contend)

with open(

'三寸人間\\' + title + '.txt', mode=
'w', encoding=
'utf-8'
) as f:
f.write(contend.replace(
' ', ''
).replace(
'', '\n'
)) print(

import requests

import re
url =
''response = requests.get(url)
html_data = response.text
result_list = re.findall(
'.*', html_data)
top_10 = result_list[1:11]
fortop
in top_10:
all_url =
'' + top
response_2 = requests.get(all_url)
html_data_2 = response_2.text
title = re.findall(
'', html_data_2, re.s)
[0] contend = re.findall(
'(.*?)
', html_data_2, re.s)
[0] print(title, contend)
with open(
'三寸人間\\' + title + '.txt', mode=
'w', encoding=
'utf-8'
) as f:
f.write(contend.replace(
' ', ''
).replace(
'', '\n'
)) print(

記爬取某乙個小說

咳，寒假無聊看起 收費章節，日常盜版。然後一搜一堆廣告看著就煩人噢 py爬蟲系列 import requests import time from bs4 import beautifulsoup header defgethtmltext url 照抄就完事了 try r requests.get...

爬取小說的簡易python爬蟲

學習一段時間的python之後決定寫些東西 剛好自己喜歡看 就像寫一段爬取 的爬蟲，這裡以筆趣閣的 為例。我發現筆趣閣的每個 的目錄源 基本都包含其所有的章節的url，所以這段 是先獲取所有的url然後逐頁獲取其文字 import requests 這裡以 天地霸氣訣為例 import re imp...

初學Python爬蟲之簡單爬取小說的網頁鏈結及目錄

學習python的同學想必都知道，python的庫有很多，今天我們就來運用urllib.request庫和re庫來寫乙個簡單的爬蟲 複製 我們要寫乙個爬蟲 首先要有乙個初步的認識，那就我們要爬取的內容是什麼，以及該如何爬取。爬蟲是用來抓取資訊的一段程式或 那麼該如何準確的找到資訊或者說如何把需要的資...