資料探勘敲門磚 Python爬蟲入門

python爬蟲.jpg

資料探勘是一門綜合的技術，隨著ai的興起，在國內的需求日漸增大。

資料探勘的職業方向通常有三個，順便概要地提一下所需的技能（不僅於此）

但是看完簡介，好像和爬蟲沒什麼關係？

接著往下看。

要開始資料探勘之路，可以先從培養資料分析能力開始。

資料分析的常見步驟是：

資料準備資料觀察（找規律）

資料建模資料探勘（將得到的模型選擇合適的演算法應用到資料上，驗證並得出結論）

據統計，資料準備佔整個資料分析70%的時間.

我們把資料準備的步驟進行細分:

資料獲取: 資料爬蟲, 資料倉儲

資料清洗: 去掉無用的資料

資料整理: 將資料規格化

資料儲存: 先儲存為csv等檔案, 最後再將資料進行整理和歸檔

注釋: csv, 全稱comma-separated values,即逗號分割值. 是將資料以逗號分隔開的一種純文字檔案, 實際上逗號可以是用其他符號代替.

資料倉儲通常是企業級的應用, 對於我們這種初學者獲取的難度較高. 而資料爬蟲的門檻就很低了, 甚至對於沒接觸過程式設計的其他專業的朋友也沒有很高的門檻, 這得益於一門語法簡單的語言-----python的流行.

這就是為什麼把python爬蟲稱作敲門磚的原因啦

現在我們的目標變成兩個, 先會python, 再會用python爬蟲

搜尋結果

選擇乙個合適的教程可以讓你少走一些彎路, 在google上搜尋python教程, 可以收到42萬條結果, 排名靠前的菜鳥教程,廖雪峰的python教程, 以及簡明python教程, 都是適合入門的免費教程

感覺沒時間先完全系統地學習? 可以先把下面這些python知識先掌握, 以後再把其他補上!

分析目標我們要分析的目標----網頁, 它裡面的資訊只有兩種呈現方式：

html

json

這些資訊是我們先向伺服器傳送請求, 隨後伺服器返回資訊給我們. 有點像我們平時在餐館吃飯, 你既要post跟伺服器'點菜', 也要get等伺服器'上菜'在這裡, 你可以學習python的乙個基礎庫

request

通過它來模擬發出post和get請求

相關知識連線: html: json: get與post:

解析頁面解析頁面有兩把利器: 乙個是正規表示式, 另乙個是選擇一些庫來幫助我們解析,比如beautiful soup

相關知識連線: beautiful soup: 正規表示式:

儲存內容最後我們通過檔案的讀寫把爬取的內容儲存到csv等檔案,或者資料庫中. 在一開始, 你也可以選擇直接列印到螢幕上,

爬取豆瓣電影top250

把專案完成之後, 你會對爬蟲有更好的理解.