Python 爬蟲初學

#爬取**中的1import re     #

正規表示式庫
2import urllib #
url鏈結庫34
defgethtml(url):
5 page = urllib.urlopen(url) #
開啟鏈結
6 html = page.read() #
像讀文字一樣讀取網頁內容
7return
html89
defgetimg(html):
10 reg = r'
#匹配表示式
11 imgre = re.compile(reg) #
編譯成正規表示式物件
12 imglist =re.findall(imgre, html) #
查詢全部滿足匹配的
13 x =0
14for imgurl in
imglist:
15print
"imgurl:
", imgurl
16 urllib.urlretrieve("
" + imgurl, '
%d.png
' % x) #
17 x += 1
1819 html = gethtml("
")20print
getimg(html)21#
print html

初學python爬蟲

上 之前先說下這個簡易爬蟲框架的思路 排程器 爬蟲的入口 知道沒有url或爬蟲終端，輸出結果 上 1，排程器 from myspider import urls manager,html html paser,html outer class legendspider object def init...

python爬蟲初學

0x01環境搭建 import os import requests from lxml import etree from urllib.parse import urljoin import urllib pip installl 包名字0x02介紹這裡寫了乙個爬 的爬蟲指令碼 如果不能解決就手...

初學python，爬蟲開刀

coding utf 8 import urllib import json import csv import codecs csvfile file pythonsalary.csv wb csvfile.write codecs.bom utf8 writer csv.writer csvfi...