C 訪問網頁並對頁面上的元素進行抓取

2021-10-19 04:17:59 字數 1381 閱讀 7934

//設定訪問頁面的標頭

request.method = 「get」;//通過get方式訪問

//在需訪問的頁面f12,network下的headers中可以檢視

//如果請求下來的頁面是zip格式

stream resstream = new system.io.compression.gzipstream(response.getresponsestream(), system.io.compression.compressionmode.decompress);

encoding encoding = encoding.getencoding(「utf-8」);

streamreader streamreader = new streamreader(resstream, encoding);

//請求下來的html頁面

string data=stream.readtoend();

//以攜程網主頁房間數為例

hashtable hashtable = new hashtable();// 網頁中元素物件

var htmldoc = new htmlagilitypack.htmldocument();

htmldoc.loadhtml(data);//解析

htmlnode token = htmldoc.documentnode.selectsinglenode(xpath);

listli = new list();

//遍歷其中符合條件的資料

foreach (htmlnode row in token.selectnodes("option"))

string aa=string.empty;

for (int i=0;i//顯示爬取下來的資料aa

C 指標之對未宣告的位址進行訪問

例1 下列 的執行結果是什麼?int ptr ptr int 0x8000 ptr 3 例2 下面這個程式在哪一行會崩潰?struct s int i int p int main s s int p s.i p 0 4 p 1 3 s.p p s.p 1 1 s.p 0 2 return 0 解析...

c 中對以pair為元素的vector進行查詢

對vector中的pair進行多次find操作 背景 背景在c 的stl中,對包含pair結構的vector,進行多次搜尋操作。find函式只適用於基本的資料型別 中主要包括兩個關鍵點 因為vector中包含了pair結構,所以在搜尋中要用find if代替常規的find函式 需要對vector經行...

網頁教程 對Web頁面元素的絕對唯一引用方法

我們知道要在web頁面中引用乙個html元素,最簡單的方法就是使用getelementbyid方法,或其類似的一組getelementsby 方法。可是這裡需要注意的是,這些方法其實都不能完全絕對的唯一確定對乙個元素的引用。至於getelementsby 我們不說了,它本身就是getelements...