python 爬蟲入門

import

requests
importre#
#todo 大迴圈
#novel_url = '
'response =requests.get(novel_url)
#處理字元編碼 顯式的指定，
response.encoding = '
utf-8
'html = response.text #
字串#
print(html)
#2. 提取 章節url 非貪婪匹配
title = re.findall(r'
',html)[0]
#print(title)
#id = list dl 有兩個
dl = re.findall(r'
.*?',html)[1]
#print(dl)
chapter_info_list = re.findall(r'
(.*?)
',dl)
#print(chapter_info_list)
#資料持久化 寫入txt
fb = open('
%s.txt
'%title,'
w',encoding='
utf-8')
#3. 迴圈的去訪問每個章節，提取內容
for chapter_info in
chapter_info_list:
chapter_url =chapter_info[0]
chapter_title = chapter_info[1]
#處理 相對urlif'
#提取內容
chapter_content = re.findall(r'
(.*?)'
,chapter_html)[0]
#清洗資料，把多餘的字元處理掉
chapter_content = chapter_content.replace('
',''
) chapter_content = chapter_content.replace('
',''
) chapter_content = chapter_content.replace('
',''
) chapter_content = chapter_content.replace('
',''
) 
#print(chapter_content)
#寫入檔案
fb.write(chapter_title)
fb.write('\n
')fb.write(chapter_content)
fb.write('\n
')#chapter_response.close()
print
(chapter_url)
#exit()

Python爬蟲入門

今天看了菜鳥教程的python教程，準備做個小作業寫個爬蟲程式。其中主要涉及到基本語法 正規表示式 urllib和re兩個模組。import urllib 載入模組 import re defgethtml url page urllib.urlopen url html page.read ret...

python爬蟲入門

這幾天閒的無聊想做乙個爬蟲來爬取一些 正經 首先選擇用python作為爬蟲的語言。但是沒有接觸過python怎麼辦呢，只能從頭開始學了。python學習位址這個是廖大神寫的乙個python入門，個人感覺寫的非常不錯，在粗略的學習了一遍之後感覺可以開始我的爬蟲之旅了。目標 抓取中妹子的儲存在本地 接下...

python爬蟲入門

初學者要學會基本的爬蟲 先要安裝包requests requests的安裝 開啟這個 在這個 上面有很多 python 的第三方庫檔案，我們按 ctrl f 搜尋很容易找到 requests 如下圖，我們將第乙個資料夾，也就是 requests 資料夾複製到 python 的安裝目錄下的 lib 目...