mac安裝環境的坑
微博反爬蟲實在太秀了
太長不看簡略版：
如果你單機還不用**ip伺服器，還想爬取百萬級使用者資料，那麼這篇文章無用，筆者也不知道有什麼方法可以實現這份幻想
我用的是sina_spider3
liuxingming/sinaspider
這裡不再贅述了
參考文章
mac安裝redis
關於redis的配置：
我是在usr/local/etc/下copy的redis.conf檔案並進行配置的，
主要就是修改為守護模式
daemonize yes
雖然安裝的環境本沒有mysql，但是裡面有個模組需要，所以得pip install mysql-python,
參考文獻：
mac安裝mysql-python遇到的坑，被這倆報錯反覆摩擦：『my_config.h』 file not found 和 indexerror: string index out of range
在此容許我吹一波彩虹屁：
微博的反爬蟲機制真的是秀，天秀，陳獨秀，蒂花之秀，造化鐘神秀……可以理解，雖然是公開的社交平台，但是既要保證廣大人民群眾的正常訪問，不至於動不動就崩潰，還想讓人多利用一下微博資料，好帶大微博平台，所以設定的門檻就很高，微博封賬號不封ip，微博封賬號不封ip，微博封賬號不封ip，所以在cookies.py中就算新增了百八十個賬號和密碼，不用**ip是不行的，然而**ip真的挺貴的，我的主要目的就是為了畢設處理資料，而不是爬取資料，所以我直接買了資料，我的微博爬蟲之旅就此結束了。
微博賬號購買店鋪
因為爬蟲時在同乙個ip下登入兩個賬號就會異常，而微博安全措施搞的實在是秀，異常後只能繫結/驗證手機號來解除異常狀態，所以異常後買來的賬號有的就算廢了，但是推薦這個店鋪的郵箱註冊號，綁號無驗證碼的那個，目前0.26元乙個，異常後還能登入，不必擔心，重要的事情說三遍，必須用**ip，必須用**ip，必須用**ip，我的微博爬蟲之旅到此為止，本著天下碼農一家人的理念，給大家乙個經驗。微博賬號購買某寶沒找到，目前度娘還有店鋪，有的店鋪讓賬號密碼登入支付寶，害怕，這個鏈結親試ok
微博爬蟲python 微博爬蟲 python
本文爬取的是m站的微博內容，基於python 2.7 一 微博內容爬取 1.要爬取的微博首頁 2.手機微博是看不到翻頁，是一直往下載入的，但是其json格式的資料仍然以翻頁的形式呈現。3.開啟開發者工具，向下翻頁面，可以在network下的xhr的響應檔案中，找到json檔案的 如 通過分析發現每個...
Python 微博搜尋爬蟲
由於網頁端反爬蟲機制比較完善所以才去移動端進行爬蟲。對網頁進行抓包，找到相關資料 檢視資料是否與網頁的內容相同 分析多組資料的請求頭 通過網頁分析構造url位址對，位址資訊訪問。import requests 構造搜尋內容 data 反爬蟲，模擬遊覽器訪問 headers print result ...
微博爬蟲總結 構建單機千萬級別的微博爬蟲系統
微博語料庫是乙個巨大且珍貴的中文語料資源，在輿情監控 商業分析 興趣挖掘等諸多領域都有廣泛的應用。而獲取微博語料庫的方法就是構建乙個穩定高效微博語料抓取系統。本次 chat 首先會帶著大家分析微博 pc 端 移動端各個站點的實際情況，以及能夠抓取的資料維度，隨後會逐個分析微博每個站點的登陸方案，並基...