用易語言寫個簡單的小爬蟲其中的關鍵點

2022-01-11 22:11:20 字數 1579 閱讀 9058

ctrl+l快捷鍵建立變數

變數名型別

協議引數

類_post資料類

請求頭資料

文字型協議引數.新增 (「v」, 「4.52.0」)

請求頭資料 = 協議引數.獲取協議頭資料 ()

變數名型別

請求data引數

類_post資料類

請求data提交內容

文字型請求data引數.新增 (「type」, 「0」)

請求data提交內容 = 請求data引數.獲取json文字 ()

呼叫網頁_訪問s方法

.子程式 網頁_訪問s, 文字型, , 原始碼由[洫蜘蛛]提供,使用winhttp的 api方式訪問網頁,如果返回是「?」請查詢返回協議頭是否有「content-encoding: gzip「表示gzip壓縮過網頁,可用 網頁_gzip解壓()命令解壓,如果返回是亂碼,則返回原始文字,請自行轉換編碼,失敗返回空文字,請取出狀態文字。

.引數 訪問方式, 整數型, 可空 , 0=get 1=post 2=head 3=put 4=options 5=delete 6=trace 7=connect

.引數 提交資訊, 文字型, 可空 , post專用

.引數 提交cookies, 文字型, 參考 可空 , 設定提交時的cookie

.引數 返回cookies, 文字型, 參考 可空 , 返回的cookie

.引數 附加協議頭, 文字型, 可空 , 一行乙個請用換行符隔開,建議填寫常量值或文字值,防止因傳參引發錯誤

.引數 返回協議頭, 文字型, 參考 可空 , 返回的協議頭

.引數 禁止重定向, 邏輯型, 可空 , 預設不禁止網頁重定向

.引數 **登入使用者名稱, 文字型, 可空 , 自動登入網頁使用者名稱 如路由器

.引數 **登入密碼, 文字型, 可空 ,

.引數 **位址, 文字型, 可空 , **位址,格式為 8.8.8.8:88

.引數 **帳號, 文字型, 可空 ,

.引數 **密碼, 文字型, 可空 ,

.引數 超時時間, 整數型, 可空 , 可以被省略,單位:秒,預設30秒,如果提供大於0的數值,則修改操作超時時間。

.引數 返回狀態文字, 文字型, 參考 可空 ,

.引數 返回原始資料, 位元組集, 參考 可空 , 可以被省略,返回原始網頁編碼

.引數 是否自動合併更新cookie, 邏輯型, 可空 , 預設為真,自動合併更新

.引數 是否補全必要協議頭, 邏輯型, 可空 , 當附件協議頭為空時自動新增必要的ua協議頭 預設為真,假將不再新增非傳入協議頭

.引數 位元組集提交, 位元組集, 可空 , 提交位元組集資料

.引數 是否處理協議頭大小寫, 邏輯型, 可空 , 將協議頭中的鍵名首字母處理為大寫 預設為真

編碼_utf8到gb2312(返回值)

使用Perl語言寫個簡單的爬蟲

之前用scala和go語言分別都寫了乙個爬蟲,最近看了perl,就來寫個功能相同的版本。使用到了lwp 模組,使用 cpan lwp安裝即可 ubuntu 13.04沒有隨perl一同提供這個重要模組,太可惜了 如下 1 usr bin perl 2use lwp qw get 34 my page...

爬蟲初學,寫個簡單的爬蟲

首先構造一下請求頭,呼叫request模組傳送請求,def request data url headers try response requests.get url,headers headers if response.status code 200 return response.conte...

使用Go語言(golang 寫個簡單的爬蟲

上次用scala寫了個爬蟲。最近在閒工夫之時,學習go語言,便用go移植了那個用scala寫的爬蟲,如下 行數比scala版的有一定增加,主要原因有以下幾方面原因 1 golang 重視 書寫規範,或者說 格式,很多地方寫法比較固定,甚至比較麻煩。比如就算是if判斷為真後的執行語句只有一句話,按照 ...