Husky分布式系統使用嚮導

2021-08-02 06:51:10 字數 654 閱讀 8122

本嚮導是為了更加方便的使用文件,加強對husky的總體了解,達到快速熟悉並利用其來進行各類分布式計算的目的。

husky專案旨在建立乙個更具有表達能力和更高效的分布式資料分析系統,為世界提供乙個更方便高效的大規模運算模式。

husky設計並實現了乙個高度優化的執行引擎,以求在有限計算資源之上取得更好的效能。

husky的計算模型支援快速並高效地實現各類演算法。

husky支援廣泛的應用,其中包括mapreduce的etl,文字資料探勘,圖資料分析,同步和非同步的機器學習。

husky具有良好的相容性,支援連線不同的系統並能很好地與hadoop生態系統共同協作。

husky實現了各類簡易的程式設計介面,有效地降低應用的開發複雜度,從而縮短開發周期。

husky的python和scala前端支援現有的各類儲存系統,並提供高階的程式設計介面,方便各類資料科學家們簡單快速地使用husky。

husky是基於c++所編寫,其提供相對友好而且高度優化的c++apis。擁有這些c++ apis,你就可以開發出各類高效的分布式運用,包括各種機器學習和圖形分析等等。下面便是為開發者提供的開啟c++ apis美好世界的鑰匙:

pyhusky提供高階的python前端,方便資料科學家使用極少的**進行資料分析。pyhusky在提供簡易程式設計介面的同時,由c++的執行引擎保證高效的效能。

分布式系統

分布式系統和計算機網路系統的共同點是 多數分布式系統是建立在計算機網路之上的,所以分布式系統與計算機網路在物理結構上是基本相同的。他們的區別在於 分布式作業系統的設計思想和網路作業系統是不同的,這決定了他們在結構 工作方式和功能上也不同。網路作業系統要求網路使用者在使用網路資源時首先必須了解網路資源...

分布式系統

分布式,一來就直接看書,除非你有比較深厚的技術功底,要不還是很晦澀難懂的。先想想為什麼會有分布式,分布式怎麼來的。傳統的電信 銀行業,當業務量大了之後,普通伺服器cpu io 網路到了100 請求太慢怎麼辦?最直接的做法,公升級硬體,反正也不缺錢,ibm小型機,大型機,採購了堆硬體。但是網際網路不能...

分布式系統

zookeeper讓服務配置變得更簡單 zookeeper是hadoop下的乙個子專案,它是乙個針對大型分布式系統的可靠的協調系統,提供的功能包括 配置維護 名字服務 分布式同步 組服務等。zookeeper是可以集群複製的,集群間通過zab zookeeper atomic broadcast 協...