抓取Web網頁資料分析

2021-08-29 04:22:08 字數 786 閱讀 8901

通過程式自動的讀取其它**網頁顯示的資訊,類似於爬蟲程式。比方說我們有乙個系統,要提取baidu**上歌曲搜尋排名。分析系統在根據得到的資料進行資料分析。為業務提供參考資料。

為了完成以上的需求,我們就需要模擬瀏覽器瀏覽網頁,得到頁面的資料在進行分析,最後把分析的結構,即整理好的資料寫入資料庫。那麼我們的思路就是:

1、傳送httprequest請求。

2、接收httpresponse返回的結果。得到特定頁面的html原始檔。

3、取出包含資料的那一部分原始碼。

4、根據html原始碼生成htmldocument,迴圈取出資料。

5、寫入資料庫。

程式如下:

//根據url位址得到網頁的html原始碼

private string getwebcontent(string url)

catch

return strresult;

}為了使用httpwebrequest和httpwebresponse,需填名字空間引用

using system.net;

以下是程式具體實現過程:

private void button1_click(object sender, eventargs e)

//插入資料庫

insertdata(dt);

datagridview1.datasource = dt.defaultview;

}程式執行結果介面圖:

以上程式在vs.net2005(c#),windows 2003(sp1)平台上測試通過。

抓取Web網頁資料分析

這文章好,我轉了,然後,我寫好,放源 到我站上,給大家共享 先只轉文章 謝謝 秋雨大哥的文章 這類文章,網上不易找啦。特別是vs2005的。原文如下 抓取web網頁資料分析 通過程式自動的讀取其它 網頁顯示的資訊,類似於爬蟲程式。比方說我們有乙個系統,要提取baidu 上歌曲搜尋排名。分析系統在根據...

抓取Web網頁資料分析

通過程式自動的讀取其它 網頁顯示的資訊,類似於爬蟲程式。比方說我們有乙個系統,要提取baidu 上歌曲搜尋排名。分析系統在根據得到的資料進行資料分析。為業務提供參考資料。1 傳送httprequest請求。2 接收httpresponse返回的結果。得到特定頁面的html原始檔。3 取出包含資料的那...

抓取Web網頁資料分析

通過程式自動的讀取其它 網頁顯示的資訊,類似於爬蟲程式。比方說我們有乙個系統,要提取baidu 上歌曲搜尋排名。分析系統在根據得到的資料進行資料分析。為業務提供參考資料。為了完成以上的需求,我們就需要模擬瀏覽器瀏覽網頁,得到頁面的資料在進行分析,最後把分析的結構,即整理好的資料寫入資料庫。那麼我們的...