爬取安居客的資訊，並儲存到csv檔案中。

# 引入包

import requests
from bs4 import beautifulsoup
import time
import csv
# 定製請求頭 換成自己的請求頭
headers = 
# 輸出查詢資訊
chaxun = input('請輸入要查詢的城市:')
# 將要訪問的**
# 訪問該**
r = requests.get(link, headers=headers, timeout=100)
# 使用beautifulsoup提取html中的內容
soup = beautifulsoup(r.text, 'lxml')
house_list = soup.find_all('li', class_="list-item")
# 將爬取的內容寫入 test.csv中，編碼格式為 'utf-8'
with open('test.csv', 'a', encoding='utf-8', newline='') as csvfile:
w = csv.writer(csvfile)
for house in house_list:
temp = 
name = house.find('div', class_="house-title").a.text.strip()
price = house.find('span', class_='price-det').text.strip()
price_area = house.find('span', class_='unit-price').text.strip()
no_room = house.find('div', class_='details-item').span.text
area = house.find('div', class_='details-item').contents[3].text
floor = house.find('div', class_='details-item').contents[5].text
year = house.find('div', class_='details-item').contents[7].text
broker = house.find('span', class_='brokername').text
broker = broker[1:]
address = house.find('span', class_='comm-address').text.strip()
address = address.replace('\xa0\xa0\n ', ' ')
tag_list = house.find_all('span', class_='item-tags')
tags = [i.text for i in tag_list]
temp = [name, price, price_area, no_room, area,
floor, year, broker, address, tags]
print(temp)
# 寫入**（test.csv）
w.writerow(temp)

安居客資訊爬取

本篇是我第一次利用bs寫的爬蟲 爬取 每頁的 變數是p後的數字，可能因為這是老早之前寫的 了，所以現在一看，發現並沒有什麼難的，掌握基本要素即可。廢話不多說，直接上 吧！encoding utf8 import re import urllib import urllib2 from bs4 imp...

Python爬取安居客經紀人資訊

python2.7.15 今天我們來爬取安居客經紀人的資訊。這次我們不再使用正則，我們使用beautifulsoup。不了解的可以先看一下這個文件，便於理解。for page in range 1,8 url str page response urllib2.urlopen url content...

Scrapy爬取並儲存到TXT檔案

在建立完成專案並建立爬蟲的基礎上，編寫儲存到txt的專案 1.將 robotstxt obey 設定為false 2.將 item pipelines 開啟 item是scrapy提供的類似於字典型別的資料容器，它與字典最大的區別在於它規定了統一的資料規格樣式，即具有統一性與結構性。這樣既方便資料的...