我開發的網路爬蟲，暫時取名「etspider」，使用c語言編寫，是分布式的系統。
etspider使用的技術
***************
1、etdns - 非同步dns解析器，比c-ares（倍，比libevent2 dns快6倍；
2、etparser - 是一款html解析器，比google/gumbo-parser快15倍。詳情請看我的部落格（
3、etmq - 訊息佇列（message queue），功能不如zeromq強（ 曆上最快的訊息佇列），但在multi-thread/multi-process方面比較，etmq比它快100倍；
etspider的進展
**********==
1、還在開發、除錯之中；
2、初步測試，抓取速度比nutch（快50倍以上。
etspider的目標
**********==
使用最少的硬體資源和財力，實現每天抓取數億個網頁，搜尋千億資料。
高效爬蟲庫requests簡介
他叫 kenneth reitz。現就職於知名雲服務提供商 digitalocean，曾是雲計算平台 heroku 的 python 架構師，目前 github 上 python 排行榜第一的使用者。star 數超過了包括 google tensorflow django 等賬號 看看他的個人主頁 ...
網路爬蟲的網路規範
網路爬蟲的尺寸 網路爬蟲的 效能騷擾 web伺服器預設接收人類訪問 受限於編寫水平和目的，網路爬蟲將會為web伺服器帶來巨大的資源開銷 網路爬蟲的法律風險 伺服器上的資料有產權歸屬 網路爬蟲獲取資料後牟利將帶來法律風險 網路爬蟲的隱私洩露 網路爬蟲可能具備突破簡單訪問控制的能力，獲得被保護資料 從而...
高效網路小結
一 高效網路簡介 來自高效網路的高效，直接的衡量目標是速度。二 高效網路一覽 cnn設計一般都是通過堆block的形式，下面只討論每個模型的block 1 mobilenet 首次使用了分離卷積 dw pw，加速的核心操作，有人認為dw和pw之間不應該加relu inverted residuals...