資料產品思考

2021-06-28 19:30:48 字數 1029 閱讀 6581

早前讀了《資料產品經理的前世今生》,從6個方面闡述了資料產品的分類和形態。

這裡我要講下資料平台產品的架構與設計,資料平台不同於傳統的資料庫,也不同於普通的資料產品,相對而言更加底層,是分析師使用大資料進行分析的工具。

一般地,資料平台由 hadoop集群、資料開發平台(ide)、任務排程系統、資料交換系統、資料展示系統及元資料管理平台構成。

hadoop集群大家都比較熟悉,國外已經出現相對比較成熟的整合方案,如cloudera和hortonworks廠商,使用整合部署工具,可以實現低成本快速部署,對於中小企業,1-2人即可維護hadoop和相關主鍵,廠商間的競爭和討論也推動著分布式計算技術的進步,前兩年的hadoop失敗論也漸漸減少,討論的熱點開始轉移到分析專案的實施。

資料開發平台,指的是提供給分析師使用的非底層client工具,hadoop相關的元件,如hive, hbase等都提供了hive client 或者hbase shell等工具,但是,對於分析師而言,他們需要乙個比較方便的操作平台,可以之間在平台上隨意切換使用hive sql還是hbase shell,並且可以將建立的指令碼或者應用一鍵部署到集群中去,開發平台稱為必要。cloudera提供了hue作為其web ide工具,整合了hive sql、 impala及元資料管理的相關功能。資料開發平台極大地提高了分析師的效率,對分布式離線分析系統的成功至關重要。分析**開發完成後,如何能夠部署到集群並按照計畫時間週期執行。任務排程系統稱為必要。

任務排程系統,將開發平台的指令碼或者程式納入到排程中週期執行,需要考慮任務間的相互依賴關係,考慮任務週期執行的效率。

資料交換系統是整個集群的進出門戶,所有的接入集群或從集群匯出的資料都要在資料交換中進行註冊,保證進入資料的質量及匯出資料的安全防控,資料交換系統同時提供資料的運輸卡車,即etl工具,對資料進行搬運。

資料展示系統,則是資料分析結果到達終端使用者的最後一站,準確的分析結果、豐富多樣的展現形式和多終端的展現支援都是都是非常關鍵的。

好久沒有寫部落格了,先寫到這裡,這只是乙個框架,之後會逐步豐富資料平台產品的設計細節,讓更多的同學了解資料產品的豐富。

--愛數志idatawill

產品經理的思考

功能全不代表產品體驗好,從功能覆蓋面去思考產品,會進入乙個堆砌功能的誤區,把產品功能的完整性作為使用者體驗的衡量標準,最終只會設計出一堆使用者根本使用不到或者使用非常低頻的產品功能。場景 是乙個已經被說爛的詞兒,使用者場景 產品場景,我們在做產品時也會不斷強調要注意場景,最後卻也只是說說而已,沒有把...

產品化的思考

關於產品化,公司也進行過相應的 也是公司的目標。公司一直在做專案,沒有很好的產品化的思路。個人認為為什麼會稱之為產品,產品應該是有大部分共性的特點,按照相應的技術標準或規範生產出來的東西。比如螺絲釘,有各種規格的螺絲釘,但每種規格都有統一的標準。比如手機,有相應的通訊標準。那麼我們的軟體產品如果要產...

產品與人性的思考

推薦理由 1 世界都是由人組成的,萬物都烙下了人的印記 不論是計算機 網際網路還是汽車還是肯德基,都是 於人的慾望 2 人的慾望是無止境的,乙個慾望的滿足往往會帶來乙個新的慾望,這種趨勢必定是從物質逐漸上公升到了精神上的 3 人 的分析才是本質的,包括產品定位 產品營銷及各類的售後要都需要要利用一些...