阿里離線資料處理平台2013暑期學校

2022-08-16 16:51:09 字數 488 閱讀 6656

本週有幸參加了為期兩天的阿里離線資料處理平台 2013 暑期學校的學習。

阿里的前輩們分不同的專題給大家介紹了飛天平台上的離線資料處理服務 odps(open data processing service)。

內容上主要分為兩部分,一部分是平台架構,一部分是資料分析。來聽課的同學也就分為了兩部分,而像我一樣關注系統層面的人是少數。

這也正常,用趙本山在『一代宗師』裡的話來說,乙個是面子,乙個是裡子。資料分析能直接產生表現層的資料,而系統平台則只是提供支援。

成功了,大家看得到的是分析出的資料,而一旦失敗了,那麼系統平台的責任就大了。

三巨頭 bat 都自主研發過大資料平台,另外兩家在投入大量資金後面對困難最終關閉了專案,而阿里堅持了下來。通過了解 odps 的系統架構,可以看但工業界的系統和學術圈中提出的概念的差異。這也讓我更清晰了之後自己的學習路線。

非常感謝阿里暑期學校給予的這次機會來接觸飛天系統,非常感謝各位講師的介紹,特別是楊少華大哥對我的疑惑的耐心解答。

nodejs SWQA平台缺陷模組資料處理

最近重構資料平台的bug模組,由於不熟悉,對於一些資料的處理折騰了一小段時間 資料平台的bug模組主要是從jira平台中請求獲取資料,介面文件參考jira的官方文件 缺陷型別 bug bug 上版本漏測 bug 與需求不符 bug 未自測 bug 需求未更新 tracking 缺陷嚴重程度 致命 嚴...

大資料處理平台都有哪些?

在大資料工作中,有很多的工具和平台需要我們去了解,當我們把這些工具爛熟於心,我們就能夠更好地處理大資料所涉及的問題。關於大資料的工具有很多,我們在前面的文章中已經給大家介紹了不少,今天重點給大家介紹一下大資料的處理平台。大資料的處理平台也是有很多的,我們可以從大資料的處理過程中進行區分。而大資料的處...

大資料處理平台與案例

大資料能夠在國內得到快速發展,甚至是國家層面的支援,最為重要的一點就是我們純國產大資料處理技術的突破以及跨越式發展。在網際網路深刻改變我們的生活 工作方式的當下,資料就成為了最為重要的資料。尤其是資料安全問題就更為突出,前階段的facebook使用者資料洩漏所引發產生的一系列問題,就充分的說明了資料...