開源大資料週刊 第20期

2021-09-23 18:58:33 字數 1084 閱讀 4135

e-mapreduce團隊

1.5.0版本(正在研發)

1.6.0版本

對話hadoop之父doug cutting|大資料和開源的未來

主要點有:新硬體、spark、hadoop上雲、中國大資料技術的發展、開源

e-mapreduce助力建設企業級資料倉儲

當業務系統在阿里雲上,使用e-mapreduce建立資料倉儲也是數天的事情

大資料,為什麼不是傳統bi的簡單公升級?

大資料與傳統bi是社會發展到不同階段的產物,大資料對於傳統bi,既有繼承,也有發展,從」道」的角度講,bi與大資料區別在於前者更傾向於決策,對事實描述更多是基於群體共性,幫助決策者掌握巨集觀統計趨勢,適合經營運營指標支撐類問題,大資料則內涵更廣,傾向於刻畫個體,更多的在於個.

通過各類大資料對使用者進行研究,以資料驅動產品是解決這個課題的主要手段,攜程的大資料團隊也由此應運而生;經過幾年的努力,大資料的相關技術為業務帶來了驚人的提公升與幫助。以基礎大資料的使用者意圖服務為例,通過將廣告和字段的「千人一面」變為「千人千面」,在提公升使用者便捷性,可用性,降低費力度的同時,其轉化率也得到了數倍的提公升,體現了大資料服務的真正價值。

從0到1,一號店通用推薦平台的搭建

一號店精準化推薦部門通過不斷探索,逐漸搭建了實時的、高可用的、推薦過程可追溯的通用推薦平台,目前該平台正在公司範圍內被越來越多的人使用。本文從一號店通用推薦平台產生的背景談起,詳解該平台的整體架構設計、推薦流程視覺化系統設計、推薦結果視覺化系統設計等,並在最後進行了總結。這套系統也可以快速在阿里雲的e-mapreduce平台構建。

2 分鐘讀懂大資料框架 hadoop 和 spark 的異同

談到大資料,相信大家對hadoop和apache spark這兩個名字並不陌生。但我們往往對它們的理解只是提留在字面上,並沒有對它們進行深入的思考,下面不妨跟我一塊看下它們究竟有什麼異同。

hive效能優化

本篇部落格講述了作者在工作中總結hive的常用優化手段和在工作中使用hive出現的問題

| 會議 | 地點 | 時間 | 費用 |

| --- | --- | --- | --- |

| [2016杭州雲棲大會] | 杭州 | 2023年10月 | 收費+免費 |

開源大資料週刊 第20期

摘要 e mapreduce團隊 1.5.0版本 正在研發 1.6.0版本 對話hadoop之父doug cutting 大資料和開源的未來 主要點有 新硬體 spark hadoop上雲 中國大資料技術的發展 開源 e mapreduce助力建設企業級資料倉儲 當業務系統在阿里雲上,使用e map...

開源大資料週刊 第52期

摘要 利用yarn capacity scheduler在emr集群上實現大集群的多租戶的集群資源隔離和quota限制 本文結合emr集群,講述了如何利用yarn capacity scheduler在emr集群上實現大集群的多租戶的集群資源quota限制與管控。本文根據姜偉華博士在數果智慧型新產品...

開源大資料週刊 第29期

摘要 阿里雲e mapreduce動態 e mapreduce產品即將發布的版本資訊如下 1.5.2版本 增加預定制配置,如試用型 入門型 計算型 記憶體型等 增加包年包月自動續費功能 1.6.0版本 互動式查詢 支援hive spark 資訊 cio時代學院院長姚樂 大資料的行業應用策略 關於大資...