準備工具 python3.5.x 和 pycharm
安裝 beautifulsoup4 這個包
import requests
from bs4 import beautifulsoup
import re
from urllib import request
import time
url="" #要爬取的鏈結
r=requests.get(url) #獲得整個源**
text=r.text
soup=beautifulsoup(text,'html.parser')
list=soup.findall('img',) #得到img裡class為pic的
path="d:/img/"+str(v)+".jpg" #儲存的路徑加檔名
time.sleep(1) #每次等待一秒 怕被封ip
ur=qianzhui+jpg_link #沒有前面的https 需要加乙個
print(ur)
那個sleep我不知道有沒有必要。 但是我不敢不加
python3爬蟲實戰（3）
今天心血來潮去爬取了一下招聘 的實時招聘資訊。是 選的條件是北京，實習生，計算機軟體。分析 之後發現還是很容易的，不過過程中出了不少小問題，在這裡分享一下。想要爬取的是類似的表單內容。是在ul的li裡。用beautifulsoup解析之後，tem ul bsoj.find ul 存下整個ul元素。對...
python3 爬蟲入門
這裡爬取貓眼電影 top100 榜的資訊，作為學習的第乙個demo。今天開始接觸的python,從爬蟲開始。語言相對來說比較簡單，環境配置到是花了不少時間。有個要注意的點是在引入beautifursoup庫的時候會報錯，因為3.x的庫需要引入的是beautifursoup4.到這一步環境配置基本上o...
python3爬蟲入門
pip install requests2 匯入requests import requests 3 requests方法 requests.get 獲取html網頁的主要方法，對應http的get4 獲取流程 url 使用get方法獲取資料，返回包含網頁資料的response響應,超時時間測試 r...