cheerio爬取網頁資料,儲存到MySQL資料庫

2021-08-13 02:04:10 字數 1141 閱讀 2879

獲取html頁面資料

exports.gethtml = gethtml;

使用cheerio獲取資料並儲存到mysql資料庫

const cheerio = require('cheerio');

const server = require('./gethtml');

var url = '';

server.gethtml(url,function

(data))

// console.log(price)

// console.log(element.children('td')[0].innertext);

})var str = '';

data.foreach(function

(item,index)else

})console.log(str)

var connection = mysql.createconnection();

console.log(str)

connection.connect();

connection.query('delete from pricelist');

connection.query('alter table pricelist auto_increment=1');

connection.query('insert pricelist(city,price,time) '+str,function

(error,results,fields))

connection.end();

console.log(value); // success!

}else

})

需要注意的是使用$(selector).find(selector)查詢到的元素需要使用再次使用$()進行包裹才能使用cheerio提供方法,如:text()。

java網頁資料爬取

在瀏覽器書籤中有許多經典的東西,有時候什麼忘記了需要去查詢的,也非常方便,但是痛苦的事情是某一天開啟書籤,居然那個頁面不知道飛哪去了,打不開,作為乙個程式設計師,當然不能容忍這種事情發生,那就把它們都爬下來。首先我們的書籤可能有幾種分類,為了處理方便,可以手動刪除我們不需要的,也可以程式處理一下 以...

nodeJs爬取網頁資料

發現node可以爬蟲,正好我在找暑期實習,然後就使用node爬一下 資料找實習。爬取目標 載入http模組 目標 嘿嘿,這個 有很多實習職位 http的get請求乙個目標 函式的引數是response,繫結兩個事件,乙個 data 事件,會不斷觸發獲取資料,資料獲取完觸發 end 事件。爬到的的資料...

python爬取網頁資料

import refrom urllib.request import urlopen 爬取網頁資料資訊 def getpage url response urlopen url return response.read decode utf 8 defparsepage s ret re.find...