Python庫詳解之網路 1 抓取網頁

2021-05-04 05:28:56 字數 724 閱讀 8623

剛剛寫完python嵌入部分的簡單例子(差不多夠現在用的啦~),接著看點實際的東西,如果沒有這些應用的話,前面的嵌入也沒有什麼意義。嵌入的其他部分以後遇到再寫,不必一下子把那些函式都弄懂,是吧~

ok,來看python庫中我認為最好玩的一部分,也就是python對網頁的操作。

我這裡是將網易的網頁下下來儲存在test.html檔案中。

#注意現在python3.1版本與以前有了很大變化,過去**好多不能用,需要稍微修改下哦

import urllib.request            

urllib.request.urlretrieve('http://www.163.com','test.html') #你們用雙引號試下,我這怎麼有問題?單引號和雙引號在這裡有區別麼?

呵呵,不是覺得太簡單了點,但我還是比較喜歡下面**多點的實現方式(我沒有新增異常,如果是稍微正式點的編碼,請添些處理異常的**吧):

Python網路爬蟲之抓取訂餐資訊

本文以大眾點評網為例,獲取頁面的餐館資訊,以達到練習使用python的目的。import urllib.request import re def fetchfood url 模擬使用瀏覽器瀏覽大眾點評的方式瀏覽大眾點評 headers user agent opener urllib.reques...

Python 簡單網路抓取

我們先簡單的說一下如何抓取乙個網頁的源 其實我們只需要呼叫python中的requests庫中的get方法就可以了。然後解析的話我們可以通過beautifulsoup庫來進行解析。requests比較適合做中小型的網路爬蟲開發,如果是要進行大型的網路爬蟲開發那一般使用的就是scrapy框架了。req...

python抓取網路內容

最近想做研究網際網路來獲取資料,只是有一點python,讓我們來看乙個比較簡單的實現。例如,我想抓住歐巴馬的每週演講手動提取,就須要乙個個點進去,再複製儲存,很麻煩。那有沒有一步到位的方法呢。用python這樣的強大的語言就能高速實現。首先我們看看這網頁的源 能夠發現。我們要的資訊就在這樣 更詳細點...