如何獲取網頁原始碼

2021-06-17 19:03:35 字數 1760 閱讀 9411

獲取網頁原始碼可以通過webrequest類和webresponse類。

1.webrequest類

webrequest類是.net framework的請求/響應模型的abstract基類,用於訪問internet資料。使用請求/響應模型的應用程式可以用協議不可知的方式從internet請求資料。此類在system.net命名空間下。request類的常用方法:

方法說明

abort

終止請求

begingetresponse

當在子類 中被重寫時,開始對internet資源的非同步請求

create

初始化新的webrequest

createdefault

為指定的uri方案初始化新的webrequest例項

endgetrequeststream

當在子類中重寫時,返回用於將資料寫入internet資源的stream(非同步訪問)

getresponse

當在子類中被重寫時,返回對internet請求的響應

getsystemwebproxy

返回當前模擬使用者的internet explorer設定中配置的**

registerprefix

為指定的uri註冊webrequest子**

(1)create方法:為指定的uri方案初始化新的webrequest例項。

語法:public static webrequest create (uri requesturi)
說明:requesturi表示包含請求資源的uri的uri,返回值為指定的uri方案的webrequest子**。

(2)getresponse方法:當在子類中被重寫時,返回對internet請求的響應。

語法:public virtual webresponse getresponse ()
說明:返回值包含對internet請求的響應的webresponse。

2.webresponse類

webresponse類提供來自統一資源識別符號(uri)的響應,是乙個abstract類。不能直接建立webresponse物件,而需要通過對webrequest例項呼叫getresponse方法來進行建立。webresponse類有乙個getresponsestream方法,當在子類中重寫時,此方法從internet資源返回資料流。

語法:public virtual stream getresponsestream ()
說明:返回值是用於從internet資源中讀取資料的stream類的例項。

**示例如下:

private void frmsource_load(object sender, eventargs e)

webrequest request = webrequest.create(url); //向指定位址的internet發出請求

webresponse response = request.getresponse(); //獲取響應的例項

//建立乙個檔案讀取器

streamreader myreader = new streamreader(response.getresponsestream(), encoding.utf8);

this.rtxtshowsourcefile.text = myreader.readtoend();

response.close(); //關閉檔案流

}

獲取網頁原始碼

c 獲取指定網頁html原 可使用 webclient webrequest httpwebrequest 三種方式來實現。當然也可使用webbrowse!在此就不研究webbrowse如何獲取了。注意 utf 8 應與指定網頁的編碼對應。可以看到httpwebrequest 方式最複雜,但確提供了...

c 獲取網頁原始碼

c 獲取指定網頁html原 可使用 webclient webrequest httpwebrequest 三種方式來實現。當然也可使用webbrowse!在此就不研究webbrowse如何獲取了。注意 utf 8 應與指定網頁的編碼對應。可以看到httpwebrequest 方式最複雜,但確提供了...

selenium 獲取網頁原始碼

selenium 本是用來對 做自動化測試的。不過,它有個天大的好處 能讓我們用 python 當然不僅是 python 模擬人對瀏覽器的操作。所需軟體 python2.7 firefox 25.0.1 版本不能太高 selenium2 44.0 使用pip install selenium 安裝即...