大資料的東風之勢

2021-08-19 12:45:53 字數 936 閱讀 7723

原文:riding the big data tiger
本文作者是微軟開發主管omid afnan。omid將在9月26-27日在亞特蘭大召開的微軟機器學習與大資料峰會上做「go big (with data lake architecture) or go home!」的演講。

我們bing團隊搭建強大可靠的大資料平台的經歷可謂是相當艱辛,不過我也從中學到不少。完成乙個強大完善的平台是我們每一位超級極客的天性。但對我個人而言,將資料池服務這樣複雜的系統變得簡單易用比僅僅作為使用者使用這個平台有著更深遠的意義。

如今,我在與開發者、架構師和it經理交談時,儘管他們熱衷於嘗試或者接受新的技術,如hadoop和spark,但他們之中的許多人並不確定如何著手開發,或是不清楚需要具備哪些預備知識和技能。

我們在開發azure data lake,u-sql,以及visual studio等工具時,秉持的觀點是我們所面向的團隊已經在現有技術上投入了不少精力,比如sql、資料倉儲、通用開發語言等,他們也需要及時地去擁抱大資料的世界。

大資料的很重要一項工作就是蒐集原始資料,將其加工成中間資料,然後作為乙個「資料平台」來驅動資料探勘和匯報過程,最終提煉出商業價值。我們的方法是通過對人們已知的資訊建模,使得資料平台的概念和處理**變得非常容易。這也是u-sql在傳統的sql+c#語言背後隱藏強大的分布式計算的原因,因此許多程式設計師很容易上手操作。

我花了不少時間與這些執行大資料流的人們交流,有許多值得分享的經驗。在亞特蘭大召開的微軟大資料峰會上,我將會分享若干個微軟的客戶在能源、零售業和技術行業用大資料解決問題的案例,我還會提供一些模板教你如何在現有的it環境下實現大資料專案。我也期待在大資料行業摸爬滾打多年的你能給我和我的同事分享經驗。

我們的最終目標是希望大資料能與商業團隊和it部門現有的技術融合和互補。我們開發的工具也定了乙個小目標:使得用1000個核心計算100pb資料的使用者體驗如同在你的台式電腦上操作一樣。

2017安全之勢 雲 大資料 IoT 人工智慧

新技術讓資訊系統變成了孫悟空,開始無所不能,但安全仍是它的 緊箍咒 怎樣解開這個 緊箍咒 各路安全廠商各顯其能,但似乎路漫漫兮離目標還很遙遠。三未信安董事長張嶽公在zd至頂網 百位意見領袖寄語2017 中說出了這樣一句話,我覺著很有道理。安全是乙個永恆的話題,如果說它與新的資訊科技相生相剋也不過分。...

求學者如何借「東風」學好大資料開發?

當你初入職場拿著5k的薪資沾沾自喜時,殊不知大資料行業0工作經驗的從業者已經拿到15k左右的薪資。高薪意味著將有更多的從業者湧入到大資料開發這個領域,那麼對於求學者在學習大資料開發時除了自身的努力外還應該借哪些 東風 實現自身的快速成長呢?東風不與周郎便,銅雀春深鎖二喬。想要學好大資料開發,東風 固...

大資料時代 大資料的應用

大資料應用的關鍵,也是其必要條件,就在於 it 與 經營 的融合,當然,這裡的經營的內涵可以非常廣泛,小至乙個零售門店的經營,大至乙個城市的經營。以下是我整理的關於各行各業,不同的組織機構在大資料方面的應用的案例,在此申明,以下案例均 於網路,本文僅作引用,並在此基礎上作簡單的梳理和分類。通訊行業 ...