鏈家二手房 租房 居民區資料爬取及分析

2021-08-28 07:35:09 字數 571 閱讀 6828

分析結果示例及原始碼見github:

準備工作:

1、安裝anaconda,並安裝以下庫:requests、numpy、pandas、time、random、lxml、os、datetime、json、pymongo、re、csv

參考教程:

2、安裝資料庫mongodb

參考教程:

3、安裝mongodb視覺化工具 robo 3t

參考教程:

4、申請高德api的key(web服務,最多可申請10個)

參考教程:

流程圖:

1、鏈家二手房資料爬取及分析

2、鏈家租房資料爬取及分析

3、鏈家居民區資料爬取及分析

python爬取鏈家二手房的資料

開啟鏈家官網,進入二手房頁面,選取某個城市,可以看到該城市 總數以及 列表資料。某些 的資料是存放在html中,而有些卻api介面,甚至有些加密在js中,還好鏈家的 資料是存放到html中 通過requests請求頁程式設計客棧面,獲取每頁的html資料 爬取的url,預設爬取的南京的鏈家房產資訊 ...

Python爬取鏈家二手房資訊

2 資料庫表結構 使用物件導向的方式,搭建專案框架 import requests from bs4 import beautifulsoup import pymysql class lianjiaspider mydb pymysql.connect localhost root 123456 ...

Python爬取鏈家二手房資料 重慶地區

最近在學習資料分析的相關知識,打算找乙份資料做訓練,於是就打算用python爬取鏈家在重慶地區的二手房資料。鏈家的頁面如下 爬取 如下 import requests,json,time from bs4 import beautifulsoup import re,csv defparse one...