go自己實現的《餘罪》小說爬蟲

2021-08-28 05:22:30 字數 674 閱讀 6773

最近在看go的東西,看了官方的教程,看書看不下去。 想著還是通過實踐來學習吧,於是決定寫個小專案。之前python入門就是用的爬蟲,這次也想這麼幹。

看了別人的**,很多用第三方的**,覺得不好,決定自己實現。(發現go很適合自己造輪子,其實自己造輪子學到的更多, 不是嗎?)

1 採用生產者-消費者模型。生產者解析章節鏈結,消費者爬取內容,並解析儲存。

2 後來發現太慢,就用了goroutine,不到一分鐘就完了

突然發現太簡單了,沒啥好說的,還是看**吧。(*_*)

1 中文亂碼,這個還好解

2 有個c2a0的空格,轉碼時會出問題

3 沒有用sync.waitgroup,沒有爬取完就結束了

在我看來,go可以看做現代版的c語言。麻雀雖小,五臟六腑俱全!

**在這: **位址

小白一枚,勿噴:)

補充:建了乙個qq群:389954854,主要目的是互幫互助,通過交流促進python技術。很多初學者往往不知道如何下手,還等什麼,快快加入進來吧!

用python實現自己的小說閱讀器

於是乎,自己動手豐衣足食,接下來就讓我們實現自己的 閱讀器吧。語音合成選擇建立語音合成應用獲取 內容 內容的獲取我們從筆趣閣 上獲取,一方面免費,另一方面沒有反爬,找到 首頁使用requests 就可以了。簡單分析一下頁面 所有章節資訊都在dd元素下,而且鏈結也是很有規律的,直接用xpath獲取所有...

go 實現的分布式爬蟲

自學golang期間,編寫gorouting,chan相關 實現分布式爬去某主站的每個頁面的鏈結,暫未想到有什麼好辦法,在抓取完網頁上的鏈結後,自動退出程式。923550 923551 923552 923553 923554 923555 923556 923557 923558 923559 9...

自己寫的用java實現的小爬蟲

1.獲取網頁源 public static string gethtmlresourcebyurl string url,string encoding catch exception e 隨手關閉流 finally catch ioexception e 將buffer stringbuffer型...