安居客資訊爬取

2021-07-25 11:28:47 字數 1017 閱讀 5523

本篇是我第一次利用bs寫的爬蟲**,爬取**:

每頁的**變數是p後的數字,可能因為這是老早之前寫的**了,所以現在一看,發現並沒有什麼難的,掌握基本要素即可。

廢話不多說,直接上**吧!

#encoding=utf8

import re

import urllib

import urllib2

from bs4 import beautifulsoup

for i in range(1,56):

url=''+str(i)

user_agent="mozilla/5.0 (windows nt 6.1; win64; x64; rv:49.0) gecko/20100101 firefox/49.0"

headers=

request=urllib2.request(url,headers=headers)

response=urllib2.urlopen(request)

html=response.read()

bs=beautifulsoup(html,"html.parser")

data=bs.find_all("div",class_='jjr-itemmod')

for xinxi in data:

a=xinxi.find('div',class_='jjr-info').get_text("|",strip=true).encode('utf-8'+'|'+'\n')

a=a.replace(' ','')

a=a.replace('\n','')

print a

f=xinxi.find('div',class_='jjr-side').get_text("|",strip=true).encode('utf8')

print f

mm=open('k9p.txt','a+')

mm.write(a+"|"+f+"\n")

mm.close()

Python爬取安居客經紀人資訊

python2.7.15 今天我們來爬取安居客經紀人的資訊。這次我們不再使用正則,我們使用beautifulsoup。不了解的可以先看一下這個文件,便於理解。for page in range 1,8 url str page response urllib2.urlopen url content...

用bs爬取安居客優秀經理人資訊

目標 1 安居客二手房,隨便乙個城市,選擇優秀經紀人,爬取所有頁數 過程 1 在網頁源 中找到所需要的資料 2 用bs提取出所需要的資訊,如下 encoding utf8 import re import urllib import urllib2 from bs4 import beautiful...

爬取安居客的資訊,並儲存到csv檔案中。

引入包 import requests from bs4 import beautifulsoup import time import csv 定製請求頭 換成自己的請求頭 headers 輸出查詢資訊 chaxun input 請輸入要查詢的城市 將要訪問的 訪問該 r requests.get...