Python爬取商家聯絡電話以及各種資料

2021-09-07 18:35:33 字數 1011 閱讀 6841

首先我學習時用的是114黃頁資料。 

下面四個是用到的模組,前面2個需要安裝一下,後面2個是python自帶的。

import requests

from bs4 import beautifulsoup

import csv

import time

然後,寫個函式獲取到頁面種想要的資料,記得最後的return返回一下,因為下面的函式要到把資料寫到csv裡面。

def get_content(url,data=none):

header = {

接著:把資料寫到**裡面。我這裡用到的是csv,方便閱覽。

def write_data(data,name):

file_name=name

with open(file_name, "w", newline='') as csvfile: writer = csv.writer(www.dejiaylsmile.cn  csvfile) writer.writerow(["商鋪名稱", "聯絡**"]) writer.writerows(data) print('抓取完成'

最後就是執行這些函式:

if __name__ == '__main__':

url = ' www.yingka178.com cid=008004008&page=2'

mydata = get_content(www.078881.cn url)

write_data(mydata,'phone.csv'www.dfzx157.com)

在這裡我想到應該把url寫成動態的,因為這裡面有頁數。讓page寫成迴圈自動+1,當然,可以在網頁看到一共多少頁。寫個迴圈執行。就更完美了。

Python爬取商家聯絡電話以及各種資料

首先我學習時用的是114黃頁資料。下面四個是用到的模組,前面2個需要安裝一下,後面2個是python自帶的。import requests from bs4 import beautifulsoup import csv import time 然後,寫個函式獲取到頁面種想要的資料,記得最後的ret...

requests lxml xpath爬取電影天堂

1.匯入相應的包 import requests from lxml import etree 2.原始ur 我們要爬取的是最新電影,在該介面中,我們發現,具體的資訊儲存在每個名字的鏈結中,因此我們要獲取所有電影的鏈結才能得到電影的資訊。同時我們觀察url,發現 list 23 1,最後的1是頁面位...

python爬蟲之scrapy爬取豆瓣電影(練習)

開發環境 windows pycharm mongodb scrapy 任務目標 任務目標 爬取 豆瓣電影top250 將資料儲存到mongodb中。items.py檔案 coding utf 8 define here the models for your scraped items see d...