1. http模組，網路請求
cheerio庫， 將html格式的字串轉成類dom結構，之後可以分析結構，通過jq的語法選中其中的元素。
/*1. 請求**資料
2. 將資料儲存本地檔案
狀態碼 const contenttype = res.headers['content-type']; //
檔案型別
let err =null
;
if(statuscode!==200)
else
if(!/^text\/html/.test(contenttype))
if(err)
//資料處理
let rawdata=''res.on('data',(chunk)=>)
//資料流傳輸完畢
res.on('end',()=>)
})$('img').each((index,el)=>)
})console.log('picarr',picarr)
fs.writefilesync('./pic.js',picarr)
})}).on('error',(err)=>)
Node 簡單爬蟲
以爬慕課網hadoop高階課程為例，用node寫乙個簡單的爬蟲 先抓取這個 的原始碼 然後分析這個頁面的dom，如圖 每大章節都被乙個chapter包圍，抓取下來就是乙個陣列，對每個item，這張的大標題在strong裡面，每章的小章節在video標籤裡，然後小標題就是j media item的te...
node爬蟲實踐
爬蟲的原理很好理解，就是在服務端請求另乙個伺服器的資源，前端有跨域問題，而服務端沒有，這是天然優勢。掌握node的前端可以為所欲為了 1 首先，根據請求資源的協議選擇合適的模組，如果是https協議，就用https的方法取請求，之前沒有注意到這個問題。var https require https ...
Node爬蟲實踐
爬蟲的原理很好理解，就是在服務端請求另乙個伺服器的資源，前端有跨域問題，而服務端沒有，這是天然優勢。掌握node的前端可以為所欲為了。1 首先，根據請求資源的協議選擇合適的模組，比如csdn是https協議，就用https的方法取請求，之前沒有注意到這個問題。var https require ht...