關於爬蟲個人認為難度很高的兩點

2022-06-02 05:18:08 字數 518 閱讀 5732

第一點是 js 進行了加密,

通常是需要進行一些引數傳遞,比如有道翻譯,那種加密很簡單,只需要在進行推演就可以知道加密的數值是什麼樣子的,

解決方法有

通過selenium

第二種則是動態字型檔案庫

現在已知是貓眼和汽車之家帖子都進行了動態字型庫

貓眼石每次重新整理頁面動態字型檔案都會更換,貓眼只是0-9進行字型檔案更換

汽車之家帖子是每個頁面固定乙個字型檔案,不止數字 中文也會更改,

抖音手機版數字含有字型庫,數字更換

如果是所有頁面乙個字型庫,那麼可以通過fonttools第三方庫來進行對映 對應抓取的資料進行清洗

多個動態字型庫,有可能有幾百個庫,每個字型庫對映一般都不相同,除非你能找到所有字型庫,每次抓取之前在頁面中找到該字型庫,抓取之後再使用本地儲存的所有字型庫,選中頁面上所含有字型庫進行對照

應對方法,

使用selenium截圖+orc識別,但是效率和識別率感人

我估摸著如果不出意外,未來反爬蟲很大可能使用動態字型檔案庫

個人認為最佳模板製作方案

第一步 複製template裡面的default,然後改名為 自己的名字,我的是boutr 第二步 開啟boutr裡面的discuz style default.xml,修改名字為discuz style boutr.xml 第三步 開啟discuz style default.xml修改下面的 中...

比較好的論壇 個人認為

特點 地球人都知道。最喜愛的版塊 文化 it業界 讀書 體育 bbs.sina.com.cn 2.凱迪社群 最喜愛的版塊 貓眼看人 經濟風雲 笑話人生等 3.搜奇娛樂社群 最喜愛的版塊 精品影院 奇聞雜談 黑樓孤魂 帖圖等 4.天崖社群 特點 人氣旺!文人雅士,舞文弄墨!5.中國站長論壇 特點 站長...

微商,個人認為發展的四相

1 壓縮 扶持核心 目前微商主要以發展 或直銷的形式存在,如果規模化經營,一般的企業都會選擇招 這就是為什麼化妝品微商如此氾濫的原因,快速圈人,快速圈錢,資金流迅速回攏,迴圈往復,像滾雪球一樣越滾越大。如果放棄 走直銷,無疑安利和小公尺成了中國最大的微商。而一般有產品,有渠道的會首先官網或京東 天貓...