大資料平台1 0總結和2 0演化路線

2022-05-01 14:39:08 字數 1059 閱讀 9665

從3月份到現在2個月過去了,整個資料平台從0到1,算是有了乙個基本的樣子,跌跌撞撞的勉強支撐起運營的一些基本業務,當然這僅僅是開始,接下來總結下自己這段時間的得失,以及下一階段的演化目標

關於產品架構的原則可以檢視這裡,我分了兩篇來寫:

目前的架構方式是這樣的:

目前的缺點和不足:

資料平台2.0lambda架構,離線批處理和實時流方案結合:

關於大資料3中架構模式的補充

lambda架構:

原來由資料中心完成的etl任務交由業務終端完成,資料中心接受統一格式的commonmodel,大幅度減輕資料中心的etl, 這種方式固然美好,但是咱們的產品,使用者,市場策略是不斷變化的,你不知道突然之間要不要換一種什麼策略去度量整個產品資料,盡可能的完全的收集,盡可能多的收集沒毛病,就像當初的google爬去網頁建立自己的索引,後續不斷優化自己的搜尋演算法,而雅虎只是實時爬去後沒有儲存快照,整個演算法調整沒有資料的支撐是很難的,當然也是我自己的臆測,到底有去etl化我不敢肯定,但是去中心化的邊緣計算要給1024個讚

大資料處理平台簡介和總結

批量大資料 靜態的批量資料,在計算前已經獲取儲存,計算中不發生變化 流式大資料 按時間順序無限增加的動態資料序列 大規模圖資料 大規模的圖結構資料,如 社交網路圖。圖資料存在較強的區域性依賴性 資料採集層 包括業務資料 網際網路資料 可以通過爬蟲採集 物聯網資料 可以通過流採集 資料儲存層 注意非關...

什麼是大資料平台和大資料

大資料 時下乙個熱門的詞語,近幾年來,關於大資料的著作和文章鋪天蓋地,似乎也在共同在傳遞乙個資訊 越來越多的行業 人士開始關注並實際探索大資料的應用,我們正在一起描繪著大資料巨大效用的藍圖,但在實踐的路上,我們都處在孩子起步階段小步前行。一 什麼是大資料 大資料 big data 指無法在一定時間範...

和而泰發布「C Life 2 0大資料平台」

3月9日,2016中國家電及消費電子博覽會 awe 在上海拉開帷幕,智慧型化 和 雲平台 成為本次展會一大亮點。智慧型控器設計龍頭 深圳中小板公司和而泰攜 c life 2.0大資料平台 亮相博覽會,首次對外推出智慧型生態的整體戰略,率先在行業內實現從智慧型家居網際網路服務平台向大資料運營平台的二次...