C 爬蟲,讓你不再覺得神秘

2021-10-12 13:02:05 字數 1845 閱讀 8103

// from file 從檔案獲取html資訊

var doc = new htmldocument();

doc.load(filepath);

// from string 從字串獲取html資訊

var doc = new htmldocument();

doc.loadhtml(html);

// from web 從**獲取html資訊

var url = 「

var web = new htmlweb();

var doc = web.load(url);

1.1、這裡介紹一下最後一種用法

var web = new htmlweb();

var doc = web.load(url);

在 web 中我們還可以設定cookie、headers等資訊,來處理一些特定的**需求,比如需要登陸等。

1.2 用法解釋

網頁在你檢視網頁源**之後只是一段字串,而爬蟲所做的就是在這堆字串中,查詢到我們想要的資訊,挑選出來。

以往的篩選方法:正則 (太麻煩了,寫起來有些頭疼)

htmlagilitypack 支援通過xpath來解析我們需要的資訊。

1.2.1 在**找xpath?

網頁右鍵檢查

通過xpath就可以準確獲取你想要元素的全部資訊。

1.2.2 獲取選中html元素的資訊?

獲取選中元素

var web = new htmlweb();

var doc = web.load(url);

var htmlnode = doc?.documentnode?.selectsinglenode("/html/body/header")

獲取元素資訊

/// /// 獲取單個節點擴充套件方法

///

/// 文件物件

/// xpath路徑

///

public static htmlnode getsinglenode(this htmldocument htmldocument, string xpath)

/// /// 獲取多個節點擴充套件方法

///

/// 文件物件

/// xpath路徑

///

public static htmlnodecollection getnodes(this htmldocument htmldocument, string xpath)

/// /// 獲取多個節點擴充套件方法

///

/// 文件物件

/// xpath路徑

///

public static htmlnodecollection getnodes(this htmlnode htmlnode, string xpath)

/// /// 獲取單個節點擴充套件方法

///

/// 文件物件

/// xpath路徑

///

public static htmlnode getsinglenode(this htmlnode htmlnode, string xpath)

///

/// 位址

/// 檔案路徑

///

public async static valuetaskdownloadimg(string url ,string filpath)

return file.exists(filpath);

}catch (exception ex)

}}一節課快速認識人工智慧必備語言:python

python零基礎全套

(Bug修復)C 爬蟲,讓你不再覺得神秘

修復載入https 中午亂碼,導致node解析失敗的問題 from file 從檔案獲取html資訊 var doc new htmldocument doc.load filepath from string 從字串獲取html資訊 var doc new htmldocument doc.loa...

讓指標不再困擾你

原創 讓指標不再困擾你 指針對一部分初學者來說一直是乙個無法逾越的障礙,沒有指標的c語言就好像沒有左腿的短跑運動員。今天我來試試換一種方法來理解指標,希望能幫還在為指標掙扎的朋友們理清思路,高手略過即可。我們先認為記憶體是一家客棧 看起來這和老掉牙的大樓的比喻沒什麼區別,但是請你耐心看下去 同大部分...

如何讓你的GridView不再滾動

今天,看了讓gridview不會自動滾動的兩種方法.順便做點記錄 這兩種方法都需要重寫gridview.下面看 第一種方法重寫dispatchtouchevent override public boolean dispatchtouchevent motionevent ev return sup...