爬蟲beautifulsoup實踐

爬蟲beautifulsoup實踐：

一、觀察response。首先，在chrome瀏覽器裡觀察一下該網頁的response內容，可以觀察到，的url都存放在img標籤下面，srcset屬性裡面，而且它們的class屬性都為_2zekz。

二、理清爬蟲步驟的思路。規律已經找出來了~下一步就把爬蟲的思路寫一下：

1、利用requests庫獲取目標**的response（headers用chrome瀏覽器裡面的headers);

2、對獲取到的response進行處理，擷取到裡面包含的每個url資訊；

3、對每個的url進行請求，然後將每個response存到指定的資料夾裡面。

如果你對python感興趣，我這有個學習python基地，裡面有很多學習資料，感興趣的+q群：688244617

2、對獲取到的response進行處理，擷取到裡面包含的每個url資訊；

response裡面包含了頁面所有的html文字資訊，但我們只需要其中的的url，所以，這一步主要就是對這些文字資訊進行處理。

這一步有兩個方向可以選擇，一是用正規表示式去匹配合適的文字資訊，二是利用beautifulsoup去做乙個獲取。在這個實踐中我們選用beautifulsoup，而且這樣做的效率比正規表示式高很多（特別是對於對正規表示式不是很熟練的同學來說）。