Python爬取商家聯絡電話以及各種資料

首先我學習時用的是114黃頁資料。

下面四個是用到的模組，前面2個需要安裝一下，後面2個是python自帶的。

import requests

from bs4 import beautifulsoup
import csv
import time

def

get_content
(url,data=none):
header = 
r = requests.get(url, headers=header)
soup = beautifulsoup(r.content, 'html.parser')
data = soup.body.find('div',)
ul = data.find('ul')
lis = ul.find_all('li')
pthons=
for item in lis:
rows=
name= item.find('h4').string
tel = item.find_all("div")[2].string
time.sleep(1)
return pthons

def

write_data
(data,name):
file_name=name
with open(file_name, "w", newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(["商鋪名稱", "聯絡**"])
writer.writerows(data)
print('抓取完成')

if __name__ == '__main__':

url = ''
mydata = get_content(url)
write_data(mydata,'phone.csv')

Python爬取商家聯絡電話以及各種資料

首先我學習時用的是114黃頁資料。下面四個是用到的模組，前面2個需要安裝一下，後面2個是python自帶的。import requests from bs4 import beautifulsoup import csv import time 然後，寫個函式獲取到頁面種想要的資料，記得最後的ret...

requests lxml xpath爬取電影天堂

1.匯入相應的包 import requests from lxml import etree 2.原始ur 我們要爬取的是最新電影，在該介面中，我們發現，具體的資訊儲存在每個名字的鏈結中，因此我們要獲取所有電影的鏈結才能得到電影的資訊。同時我們觀察url，發現 list 23 1，最後的1是頁面位...

python爬蟲之scrapy爬取豆瓣電影（練習）

開發環境 windows pycharm mongodb scrapy 任務目標 任務目標 爬取 豆瓣電影top250 將資料儲存到mongodb中。items.py檔案 coding utf 8 define here the models for your scraped items see d...