部落格位址
node.js主從分布式爬蟲
特徵
基於node.js 的html 內容抓取工具。
特點：
1）node-crawler邏輯是利用bottleneck任務排程器，將接收到的多個url當作多個任務新增至佇列進行執行。
2）使用cheerio、jsdom或者whacko解析html。
部落格node-crawler的分布式版本 floodesh ，即，將crawler維護的queue 改為分布式db mongodb，增加了主機index與客戶端worker，分別負責任務排程與爬取工作。
自動爬取網頁，維護乙個佇列(fifo, db, redisdb)。可自定義處理器解析content。遵循robots.txt、速率和併發限制。
按照depth爬取以及確定何時停止。
支援 http and https 協議。
使用executor來限制任務處理速率（==未理解）。
爬取時使用3個佇列：
1）knownurls：已經訪問過的url ，格式類似於：；
2）crawledurls：已經爬取過的url；
3）_currenturlstocrawl：待爬取的url佇列。
基於nodejs 的爬蟲專案.
部落格a light-weight module that brings window.fetch to node.js
水星專案(麗姐參考)
從html字串中提取meta-data（body, title, meta-tags, h1）.
html parsing/serialization toolset for node.js.
nodejs簡易爬蟲
我的爬蟲程式是用nodejs寫的，因為最近在學這個東西，其中使用了express框架，以及cheerio和superagent兩個模組。cheerio模組是nodejs處理html內容的神器，例如var cheerio.load html 將頁面的html內容載入下來後，便可使用jquery語法進行...
網路爬蟲 Nodejs
要抓取網頁資訊首先要獲取部落格主頁的html資訊，使用 http.get options callback 方法獲取資訊，如下 其中url 為我的 部落格主頁，獲取主頁html後，需要對資訊進行挑選，在部落格主頁右鍵選擇檢視原始碼，可以找到所需資訊如下 newcomments class panel...
nodejs 簡易爬蟲
用nodejs編寫爬蟲跟其他語言一樣，比較簡單，比較各個語言標準庫都差不多，主要就是抓取頁面，然後分析dom節點，獲取資料。requests 經典的請求庫，cherrio 像jquery一樣解析dom的庫。這裡用csdn舉例。var request require request var promi...