Spark的Notebook工具彙總

2021-07-24 03:42:40 字數 556 閱讀 1361

當前spark的notebook工具主要有四個,

zeppelin

spark notebook:

hue

上述四個工具都可以作為spark**的notebook工具,但特點不同。

jupyter是輕量級別的,開啟關閉都很快,並且開啟的是相當於是乙個最小spark集群,故適合**快速測試。

zeppelin發展迅速,特別時候資料分析,資料視覺化。

spark-notebook的資源最為豐富,提供適用於所有環境的所有版本,並且自帶很多機器學習等示例。唯一的缺點是有時候介面載入特別慢。

hue的notebook發展比較慢,比如即使是最新的3.10版,其雖然支援spark notebook,但還需自己手動配置,比較麻煩。但hue中整合了其它的許多大資料資源,比如hdfs,job,hive等,提供了資料提取、分析的一站式平台,所以其非常適合作為生產環境的notebook工具。

上述軟體不同的定位使得其有了各自的不同的應用場景,大家根據自己的需要來自己選取。

當然,上述四個工具還在飛速發展中,軟體的功能也不僅僅只是作為spark notebook。

NoteBook的安裝和使用

一 notebook使用 jupyter notebook是乙個基於網頁的用於計算的應用程式,在資料科學領域很受歡迎。簡言之,notebook是以網頁的形式開啟,可以在code型別單元格中直接編寫 和執行 的執行結果也會直接在 下顯示。如果在程式設計過程中需要編寫說明文件,可在markdown型別的...

Google將停止notebook的服務?

於是去notebook的官方部落格確認一下,是否訊息確切?果然,有條訊息 google將停止notebook的開發 stopping development on google notebook 還好不是停止服務,只是停止繼續開發。但,我想停止開發從某種程度上就意味著停止服務的時間也不會很久遠了。1...

Google將停止notebook的服務?

於是去notebook的官方部落格確認一下,是否訊息確切?果然,有條訊息 google將停止notebook的開發 stopping development on google notebook 還好不是停止服務,只是停止繼續開發。但,我想停止開發從某種程度上就意味著停止服務的時間也不會很久遠了。1...