一次網頁資料抓取採集儲存我的電子商務業務

2021-08-17 20:25:24 字數 2136 閱讀 6072

最近我注意到許多電子商務指南都關注相同的技巧:

雖然這些都是很棒的提示,但我在這裡只給你乙個刮傷黑客的資訊,這可以幫助我的公司不再關機。

此部落格)。

:這一切是如何開始的

我的背景是市場營銷,我是乙個經驗豐富的seo,ppc和聯盟營銷人員,所以自然而然地,我對於推動流量並將其轉化為銷售理解了一兩件事。

在電子商務商店創造另乙個收入**的同時,讓我的日常工作成為市場營銷副總裁感覺很對。

我有一位程式設計師朋友,他同意用定價優化邏輯為我編寫乙個刮板。

邏輯可以簡化為兩個基本規則。

第一條規則是,無論何時發現競爭對手降低其**,我都會收到通知,以便我可以決定是降低**還是閒置。

第二條規則是每當競爭對手缺貨時,我會收到通知,以便決定是否提高我的**。

經過幾個月的艱苦營銷工作,我看到我的商店流量增加,後來轉化為轉化率的增加。

生活是美好的,錢來了,我唯一的任務是執行再營銷活動,並保持我的seo整潔。

然而,這場派對並沒有持續很長時間,幾周過去了,令我驚訝的是,我看到我的轉換率下降,最終我的開支超過了我的收入。

我試圖尋找問題的根源。

在減少開始之前,我沒有改變我的商店頁面或營銷活動,並且我的流量保持穩定。

找到原因

排除商店和市場營銷活動後,我檢查了我的定價和刮板。

我將轉換率下降的日期與競爭對手**的快取版本進行了比較,我發現我的競爭對手顯著降低了我銷售的產品的**。

出於某種原因,我在轉換率下降前幾天停止接收通知。

難怪我失去了銷售業績 - 我店的目標受眾是最不忠誠和**最敏感的年齡段:21-29歲。

根據markettrack的研究,

如果他們在其他地方找到更好的**

,85%的人將更換商店,86%的人將更換品牌。

我的刮是怎麼回事?

為你推薦

網路直播,3月29日:

如何關閉企業交易:銷售黑客的故事

我刮得太快了嗎?

太過分了?

我使用了常見的做法來確保我的競爭對手不被識別為機械人,並且在我的手術的頭幾個月裡它執行良好。

當我研究這個問題時,我發現目標公司確實試圖保護自己不被刮傷。

例如,一家名為

shiledsquare的

公司通過識別由於不正常活動引起的刮刀,幫助電子商務企業。

由於企業通常通過帶有特定公開上市ip範圍的付費資料中心來抓取其他業務,因此該公司可以輕鬆識別和阻止商業資料中心擁有的可疑ip。

這意味著我可能被阻止,因為其他人使用我使用的同乙個ip範圍來糟糕地使用同乙個站點......然而,我付出了代價。

尋找解決方案

在這一點上,我意識到我需要乙個適合我現有的基礎架構的解決方案,乙個可靠且永遠不會被阻止的解決方案。

幸運的是,我發現了住宅智財權。

住宅ip是由網際網路服務提供商公司提供給私人使用者的ip。

住宅智財權與資料中心智財權之間的區別在於他們被識別的機會,並因此被阻止。

顯然,新一代的業務**網路由p2p消費者組成。

這些消費者同意允許通過他們的ip路由一些請求,同時他們的裝置閒置,連線到無線和充電。

作為允許這些請求的回報,他們以免費使用應用程式和無廣告應用程式的形式獲得好處。

顯然,新一代的業務**網路由p2p消費者組成。

這些消費者同意允許通過他們的ip路由一些商業請求,同時他們的裝置閒置,連線到wifi和充電。

作為允許這些請求的回報,他們以免費使用應用程式和無廣告應用程式的形式獲得好處。

應用程式開發人員通常希望使用這種易貨**來增長並通過廣告或付費訂閱通過應用程式獲利,通常會降低參與度。

這使得阻止刮板幾乎不可能,因為目標**無意阻止常規消費者訪問他們的**。

我找到了一家名為

luminati 

的公司,他建立了乙個龐大的住宅ip池,並且我迅速更換了我的刮板基礎設施,繼續使用他們的住宅ip進行刮擦。

**警報立即回來了,再加上正確的**調整,我的轉換率再次回公升,並且我很快再次盈利。

結論刮刮有它的兩面。

一方面,它是完全自動化的,一旦工作,你就可以進入自動駕駛模式。

另一方面,您正在抓取的**將嘗試阻止您,您必須避免這種情況,以確保您始終獲得可靠的資料,這正是住宅ip允許我做的事情。

我的第一次爬網頁經歷

之前我從來沒有爬過網頁,一直對scrapy很好奇,這周一粽子讓我去爬一下 的工單管理 已提交結果工單 舉報內容摘要 來電時間,一共有100多條,看起來需要一條一條點開才行。我之前對網頁有了一點小小的積累,大致明白了cookie,post,get,html這方面的知識,因此覺得應該是能夠勝任的,因此就...

記錄一次Redis儲存資料結構的優化

k8s有很多種資源例如 namespace,deployment,statefulset,service,ingress,nod,pod.redis儲存service時 將service作為key,集群中所有service物件裝進list作為value儲存 其他資源物件也安裝這種方式儲存 拉取所有s...

紀念我的第一次求職面試 百度技術電面

周五,面試官打 過來,我當時看了一下時間,非常的準時,下午3 58,考慮到時差的問題,可能他那裡是四點了.面試官很友善的問我身邊有沒座機,因為用座機進行長時間通過比手機要健康一些,我說沒有,只能用手機了,於是他就進入正題了.面試官很有效率,直接進入主題,連自我介紹都不用,這一點讓我肅然起敬.第乙個問...