python筆記 爬蟲

2021-09-25 06:16:38 字數 629 閱讀 7950

- 正規表示式

ref:

- 爬ref:

更新了一下**版本,刪去了函式調取。

```# 1. urllib+re實現

import urllib.request

import re

#**url = ''

#根據url獲取網頁html內容

page = urllib.request.urlopen(url)

html=page.read()

# 從html中解析出所有jpg的url

jpgreg = re.compile(r'# 解析出jpg的url列表

# 用於給命名

Python筆記 爬蟲

用到的庫 urllib。在python3.x中 urlretrieve函式也在urllib.request下,因此只需要匯入request即可。from urllib import request基本的思路是 用request.urlopen 開啟網頁 url.read decode 得到網頁原始碼...

Python爬蟲筆記

import requests 匯入requests模組 1.傳送請求 import requests r requests.get 2.定製headers 這種情況適用於爬取返回的結果出現 抱歉 無法訪問 等字眼時,這時需要模擬乙個介面伺服器自行爬取的狀態 import requests r re...

Python 爬蟲筆記

requests scrapy 兩個解析 html 文件的有力工具 lxml beautifulsoup4,一切暴露在網際網路中的資料,都不是絕對安全的,但絕對是需要費腦筋才需要得到的,爬蟲很簡單學,真正難的是反爬。requests 模組常用方法 單次請求 每傳送一次請求,就需要呼叫一次 多次請求 ...