ruby抓取web頁面

2021-09-10 17:50:34 字數 1649 閱讀 6027

一種方法是net::http.new方法,返回resp碼和實際的data:

不過resp可以取到,但data返回nil值,換其他網頁同樣如此.後來發現那是早期的方法返回值,新的ruby只返回乙個值,我們可以用resp.body來訪問網頁內容,坑爹啊:

h = net::http.new("www.baidu.com",80)resp = h.get "/"puts resp.body
還可以用以下方法效果類似:

require

'uri'resp = net::http.get_response(uri(""))puts resp.body

注意用uri生成的url字串要以http://開頭,否則貌似有錯.不過實際中我們要加錯誤處理和超時處理,否則你就且等吧:

begin timeout(5) rescue => e puts e.inspect exitend puts $resp.body執行結果如下:

再分享一下我老師大神的人工智慧教程吧。零基礎!通俗易懂!風趣幽默!還帶黃段子!希望你也加入到我們人工智慧的隊伍中來!

一種方法是net::http.new方法,返回resp碼和實際的data:

不過resp可以取到,但data返回nil值,換其他網頁同樣如此.後來發現那是早期的方法返回值,新的ruby只返回乙個值,我們可以用resp.body來訪問網頁內容,坑爹啊:

h = net::http.new("www.baidu.com",80)resp = h.get "/"puts resp.body
還可以用以下方法效果類似:

require

'uri'resp = net::http.get_response(uri(""))puts resp.body

注意用uri生成的url字串要以http://開頭,否則貌似有錯.不過實際中我們要加錯誤處理和超時處理,否則你就且等吧:

begin timeout(5) rescue => e puts e.inspect exitend puts $resp.body執行結果如下:

使用ruby來抓取小說

好久沒有寫ruby 了,手有點生,今年準備多練練 require rubygems require hpricot require open uri require fileutils def wri url 1.22 each do page sub url url page.to s html ...

CURL抓取頁面

curl是利用url語法在命令列方式下工作的開源檔案傳輸工具,他能夠從網際網路上獲得各種各樣的網路資源。簡單來說,curl就是抓取頁面的公升級版。1.初始化,建立乙個新curl資源 ch curl init 2.設定url和相應的選項 curl setopt ch,curlopt url,curl ...

基於Socket與C的WEB頁面抓取程式

基於c與socket編寫了乙個http頁面檢查程式,通過這個程式,可以載入指定web伺服器上的頁面資訊,這在爬蟲 抓取web頁面 分析是否有掛馬行為有參考意義。如下 printf 傳送完畢 intilen recv ds clientsocket,recvbuf,1000000,0 if ilen ...