Go Pholcus爬人民網新聞規則

2021-07-11 07:52:28 字數 1111 閱讀 6068

go語言下有個爬蟲軟體pholcus,寫了個爬蟲的規則,抓的是人民網的最新新聞。

pholcus開源軟體做的還是挺棒的,但是覺得go語言不太好玩。

規則放到了github:

github:

順便貼一下:

package spider_lib

// 基礎包

import (

"log"

// "github.com/puerkitobio/goquery" //dom解析

//必需

// "github.com/henrylee2cn/pholcus/logs" //資訊輸出

//必需

// net包

// "net/http" //設定http.header

// "net/url"

// 編碼包

// "encoding/xml"

"encoding/json"

// 字串處理包

// "regexp"

// "strconv"

// "strings"

// 其他包

// "fmt"

// "math"

// "time"

)func init()

type item struct

type news struct

var news news

var people = &spider)

},trunk: map[string]*rule]}`

str := ctx.gettext()

err := json.unmarshal(byte(str), &news)

if err != nil

/newslength := len(news.items)

for i :=0; i < newslength; i++ ,})}

/},

},"熱點新聞": ,

parsefunc: func(ctx *context) )

},},

},},

}

人民網宣布正式成立區塊鏈頻道

今日塊訊 www.cppcns.com 10 月 23 日訊息 據人民網報道,2018 人民網區塊鏈技術秋季論壇今日在北京舉辦,同時人民網區塊鏈頻道也正式成立。據介紹,人民網jqlbs已在區塊鏈領域初步形成了內容 科研 培訓 資本的 四位一體程式設計客棧 業程式設計客棧務格局,此後將繼續紮實推進業務...

人民網 「區塊鏈」技術深刻影響金融

德勤與萬向區塊鏈實驗室共同主辦區塊鏈開發者及愛好者盛會 上海區塊鏈黑客馬拉松 為了讓中國的企業和技術開發者對區塊鏈的開發過程有切身體驗,2016年1月8日至10日區塊鏈技術在中國的里程碑事件 上海區塊鏈黑客馬拉松 系列 活動應運而生。本次活動是德勤與萬向區塊鏈實驗室共同主辦的區塊鏈開發者及愛好者盛會...

python關於亂碼的問題總結(例子 人民網)

url response requests.get url,headers header 此處header並未具體寫出 print response.text header中的引數錯誤,輸出後的產生亂碼 accept encoding gzip,deflate解決方法 出現了問題,網上的解決辦法是把...