分享嘉賓：張勍 貝殼 大資料產品負責人
編輯整理：李采薇
01
貝殼業務及資料應用的背景
從資料視角看，貝殼目前有全國最全的樓盤、**資料、大量的經紀人行為資料、線上\線下商機資料、門店資料等，資料緯度多、元素多，複雜度大。與純粹的線上網際網路公司不同的是，貝殼無法把所有交易過程線上化，只能盡可能的將交易關鍵節點先線上化。因為整個交易過程中，絕大部分關鍵節點都需要線下帶看和經紀人溝通。這也就導致了很多資料是線下收集的，這也是貝殼資料呈線下化特點。另乙個就是資料的延遲性。這裡的延遲性是指資料的延遲性，並非系統的延遲性。比如簽約、帶看，並非完全和系統同步。在業務口都有「喜報」的說法，往往這部分資料都是線下先去填報統計但在時間上沒有當天走線上流程，這樣就會產生實際業務與系統記錄的偏差。
綜上，貝殼的資料呈型別多、複雜度高、線下化、延遲性的特點。
從資料建設以及資料應用的視角看，貝殼存在三類使用者：
貝殼的資料應用場景主要分為管理、實際作業和品牌（系統）的應用。
02
貝殼資料平台的演進
① 平台的樣子
2023年加入貝殼的時候，主要接手兩個平台產品：
兩個平台從資料加工採集到資料應用都涵蓋了，那麼對於公司、使用者來說，都有哪些問題？以下將從效率、平台、資料質量、安全的角度剖析。
公司的資料能力建設以及應用、是乙個複雜而龐大的體系化工程，單點突進（例如查詢引擎特別好，數倉建設的完備）對使用者來說，依然會在某些場景有體感不適的情況。所以資料能力建設一定是齊頭並進，抽象聚焦的。一般來說，重點聚焦在：資料應用效率、資料質量、平台系統、資料安全幾方面。
效率：
從效率講，主要是資料流轉問題：
平台：
從平台視角看，kylin解決方案滿足不了所有場景，貝殼的業務維度多，很容易發生維度災難。平台的設計是基於當時歷史情況來設計，但業務、公司的變化飛快，平台不能適應變化導致系統模組在平台上融合度不夠。使用者另乙個直接感受是技術元素過高，平台的易用性不夠，很多功能使用前需要諮詢，增加了溝通成本，平台門檻過高。
質量：
安全：
過去，我們的使用者花了70%-80%的時間停留在許可權獲取/資料處理加工和對數上。從右邊五個維度看，平台打分也都不是很高。所以對於未來，貝殼平台要如何演進？
③ 需要什麼？
我們希望減少使用者在資料加工上的時間，提高使用者上層的效率，產出更多價值。同時，致力於成為提供高效、安全、可信賴的平台。
④ 怎麼做？
貝殼需要怎麼做？主要考慮以下兩方面：
2. 演進
① 平台演進路線
從背景以及平台帶來的問題來看，如果要解決效率、質量、安全的問題，需要把使用者整個分析流程全部囊括到平台中來，降低門檻，給予使用者更多的自主性、靈活度，同時也要有規則標準進行保障約束。
在2023年底，結合使用者和公司的訴求，公司開始研發資料分析平台——奧丁。希望通過平台建設，將原來不能滿足的訴求一一實現，將使用者自成體系的建設資料方式，逐步遷移到平台上來，把資料孤島逐步整合到一起。
首先要能覆蓋使用者線下加工分析到傳播的全流程模式：
通過提供一套完整的資料分析體系，整合底層資料引擎、許可權、資料管理的能力，輸出一整套資料平台能力和服務，釋放給平台使用者。
但在這個過程中，平台的能力建設是重要的一步，另外更重要的是資料內容建設本身，數倉的模型建設是更重要的，使用者需求多樣，數倉在這個過程中抽象需求，形成高可用、易懂的資料供給。
② 奧丁分析平台
奧丁分析平台於2023年啟動，前後經過了幾個版本，這幾個版本都是結合當時不同的情況進行的迭代。實際上線到今天為止，已經把全國70%-80%的城市納入。
③ 資料資產化管理
對於資料資產化管理，我們從底層服務支援上做了擴充套件，包括資料可管理、許可權可管理、資源可管理、資料質量可控：
④ 資料工廠
資料工廠的演進過程也是從2023年底開始，首先做了許可權系統的監控，然後希望通過業務的語言了解資料的組織，所以做了元資料圖譜。2023年相繼做了資料開放等，到今年我們將工作空間、規則引擎建設完畢。
⑤ 效果
從效果來說，對於各城市受益最大。資料分析師有更多時間做分析，在效率、質量上都得到保證，從安全上資料能達到不落地。
⑥ 有哪些困難？
在演進的過程中，我們面臨如下困難：
3. 現在
03
貝殼資料平台的未來構想
貝殼經歷多年建設基礎，能給使用者什麼？現在我們將線下資料孤島整合到線上，還處於現象刻畫中，停留在資料使用的基本層次上。未來，希望資料能夠智慧型化，形成知識沉澱，形成資料對話，能指導業務，做出風險預警，同時也要提高分析師素養和培養業務資料應用習慣。
舉個例子：
這就是我們整體對未來的規劃，從刻畫現象到內容解讀的過程。
最後，產業網際網路和網際網路在資料應用上本質上沒有什麼不同，業務、資料驅動的訴求的場景都是一樣的，短時間內，貝殼業務的模式不會發生太大的改變，希望在大資料技術以及產品應用不斷發展的今天以及未來，能夠打造出一套適用用產業網際網路的資料產品體系。謝謝大家。
今天的分享就到這裡，謝謝大家。
如有收穫，點個在看，誠摯感謝
電商平台資料採集介面
測試 聯絡客服免費測試 特殊介面 buyer cart add 新增到購物車 buyer cart remove 刪除購物車商品 buyer cart clear 請空購物車 buyer cart list 獲取購物車的商品列表 buyer cart order 將購物車商品儲存為訂單 buyer ...
2 電商平台零售資料分析
data1 unitprice value counts tuihuo data data quantity 0 tuihuo tt pd.pivot table tuihuo,index year columns month values amount aggfunc np.sum data2 d...
電商平台的系統組織架構
參與電商系統開發已有兩年，我一直負責的工作就是跟電商平台對接，起初對接的平台只有 天貓 京東這幾個主流大平台，後來隨著各品牌的業務拓展，後續逐漸對接其他比較有規格的電商平台 目前已對接 唯品會，蘇寧易購，小紅書，寺庫，網易考拉，噹噹，後續還會繼續對接其他渠道 一開始我對於對接這麼多平台並不是很理解，...