go語言 爬蟲入門

2021-10-05 05:34:10 字數 1493 閱讀 8173

go語言—爬蟲

用到的包:net/http(用於傳送請求),io/ioutil(用於讀取響應內容);

基本步驟:

構建請求url,string型別;

使用net/http包提供的get()方法傳送請求, 獲取響應物件response;

處理異常,解析響應內容;

高階步驟(適用於有反爬機制的**):

構建請求url,string型別;

使用net/http包提供的client{}結構體構建client;

使用net/http包提供的newrequest()方法構建請求物件request;

request物件的header新增必要的頭部屬性;

呼叫client物件的do()方法,並傳遞引數request,即可得到響應response;

處理異常,解析響應內容;

// 構建請求request物件

// 構建錯誤處理

if err !=

nil// 新增請求物件的屬性,頭部資訊

request.header.

add(

"user-agent",)

request.header.

add(

"cookie"

,"clickbids=2787"

)// 傳送請求

resp, e := client.

do(request)

// 請求錯誤處理

if e !=

nil// 讀取響應體內容

content,

_:= ioutil.

readall

(resp.body)

// 關閉位元組流(必要時需要錯誤處理)

defer resp.body.

close()

// 將響應體位元組切片轉換為字串並輸出

fmt.

println

(string

(content)

)}

go 語言入門

參見文章1,文章2 1.編譯 go build test.go 2.執行 go run test.go 3.看幫助 go doc builtin go doc fmt fnv4.執行測試 編寫源 even.go this package is test for write package packa...

go語言入門

目錄go命令 apt install golang yum install golang y 新增環境變數,使用一下命令測試安裝是否成功 go versiongo help就像其他靜態型別語言一樣,要執行 go 程式,需要先編譯,然後在執行產生的可執行檔案。go build命令就是用來編譯 go程式...

Go 語言入門一 Go 安裝

本文介紹 go 語言編譯工具的安裝和解除安裝。如果是公升級go工具,則先解除安裝舊版本,在安裝新版本。tar c usr local xzf go version.os arch.tar.gz 將 usr local go bin目錄新增至環境變數 編譯 etc profile或者 home pro...