Spark 1 2 1 發布,開源集群計算系統

2021-06-28 19:37:08 字數 477 閱讀 3978

spark 是一種與 hadoop 相似的開源集群計算環境,但是兩者之間還存在一些不同之處,這些有用的不同之處使 spark 在某些工作負載方面表現得更加優越,換句話說,spark 啟用了記憶體分布資料集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載。

spark 是在 scala 語言中實現的,它將 scala 用作其應用程式框架。與 hadoop 不同,spark 和 scala 能夠緊密整合,其中的 scala 可以像操作本地集合物件一樣輕鬆地操作分布式資料集。

儘管建立 spark 是為了支援分布式資料集上的迭代作業,但是實際上它是對 hadoop 的補充,可以在 hadoo 檔案系統中並行執行。通過名為 mesos 的第三方集群框架可以支援此行為。spark 由加州大學伯克利分校 amp 實驗室 (algorithms, machines, and people lab) 開發,可用來構建大型的、低延遲的資料分析應用程式。

開源中國社群[

java 開源 cms FreeCMS1 7發布

freecms1.7已經發布,詳情請看 freecms商業版v1.7更新功能 1.選單增加圖示屬性,可自由選擇,並支援圖示庫擴充套件。2.增加配置 資料變更後欄目頁面靜態化間隔時間 單位為分 解決生成欄目全部頁面費時影響新增資訊速度問題。3.增加資訊審核功能 有審核記錄 只有審核通過的資訊才能顯示。...

Linux開源容器Docker 0 7發布

出自paas服務dotcloud的linux容器開源專案docker,已經成為目前業界最關注的新興開源專案之一,近來也是開源社群的重兵雲集之地,開發進展迅速。根據dotcloud ceo solomon hykes所寫的官方部落格,與0.6相比,docker新版本主要在七個方面有所改進,包括 標準l...

Tiki 19 1 發布,開源 Wiki 引擎

開發四年只會寫業務 分布式高併發都不會還做程式設計師?tiki 19.1 發布了。新版本更新包括了許多 bug 的修復 有個好訊息是 h5p 和 bootstrap tour 功能重新工作了 和幾個 ui ux 方面的增強。新版在 ui 方面有許多修復和增強,總體上實現了更好的視覺一致性。此外有對工...