英特爾段建鋼 Spark將成為下一代大資料的標準

2021-09-23 04:58:39 字數 1009 閱讀 7907

spark是乙個基於記憶體計算的開源集群計算系統,目的是更快速的進行資料分析。spark由加州伯克利大學amp實驗室matei為主的小團隊使用 scala開發開發,其核心部分的**只有63個scala檔案,非常輕量級。 spark提供了與hadoop相似的開源集群計算環境,但基於記憶體和迭代優化的設計,spark在某些工作負載表現更優秀。

9月18日,在長沙舉辦的第九屆政企資訊化策略研討會中,來自英特爾的高階技術經理段建鋼帶來了「大資料技術發展剖析」的主題演講。hadoop改變了處理資料方式,但相較於hadoop,spark啟用了記憶體分布資料集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載,這些有用的不同之處使 spark 在某些工作負載方面表現得更加優越。

英特爾的高階技術經理 段建鋼

段建鋼指出,當前很多人都在談論大資料,但如何落地這是個問題,使用者關心的往往是如何用大資料解決業務上的問題。而如何運用大資料就需要從底層基礎設施,到上面資料平台、分析能力和解決方案,這一系列環節的優化。

英特爾推出了apache spark,為hadoop集群帶來了速度極高的記憶體內分析能力,從而將大規模資料集的處理週期由幾小時成功縮短為幾分鐘。目前英特爾和優酷合作,幫助優酷將傳統業務遷移到spark上,優化大資料分析,分析時間從40個小時縮短到3個小時以下。

「spark會成為下一代大資料的標準。」段建鋼說道。未來英特爾將與技術界、學術界一起推動生態系統的發展。

cloudera解決方案架構師陳建忠指出,2023年代企業應用以流程為中心,幷包含以結構化資料為主、只包含內部資料以及只包含「重要」的資料三大特點。而到了當今時代,資料變成資訊為中心的企業使用的所有資料,以及包含內部和外部資料的所有型別的多層結構。

cloudera進入中國以來,在金融、高校、氣象等領域擁有了多個成功應用案例,幫助客戶實現基於統一的平台和資料進行多樣化的自助分析,改善客戶的服務能力和服務效率,大大節約了投資成本。此外,cloudera致力於加速spark的社群開發和提高企業部署,從管理、安全、規模和資料傳輸等方面讓spark和hadoop生態進行更廣更深的融合。

原文發布時間為:2016-7-14

英特爾 未來十年,架構創新將成為計算創新關鍵驅動力

現如今,無論是汽車 零售商店,還是醫院 家庭 工廠,所有物和裝置變得越來越像一台臺 計算機 智慧型變得無處不在,資料不僅呈現指數級增長,其形態也變得日益多程式設計客棧樣化。然程式設計客棧而,未經處理的資料毫無價值,只有將資料轉化為業務價值,才能創造新的服務和體驗。英特爾認為,人工智慧 5g程式設計客...

英特爾 讓資料成為石油 驅動無人駕駛

當今世界是在石油的基礎上運轉的 為家庭供暖和製冷 為幾乎各種形式的交通工具提供動力支援。現在,如果試著駕駛一輛不借助任何石油產品的汽車,你將不會行進得太遠。沒有石油,汽車發動機會過熱,活塞和活塞環會熔化汽缸壁,發動機組會出現裂縫,當然,也沒有天然氣。可以說,石油是支援我們目前已知汽車世界的關鍵技術。...

資料稱京東成為英特爾全球PC最大零售渠道

techweb 3月12日訊息,根據英特爾公布的資料顯示,基於長期的合作,京東在2018年成為英特爾全球pc最大零售渠道。同時,雙方針對2019年進一步深度戰略合作也達成了一致。2017年6月,京東成立遊戲泛娛樂產業聯盟,英特爾加入京東娛樂產業聯盟,進行相關的廠商整合和產業整合。2017年618期間...