Hadoop和Spark筆記目錄

2021-09-28 18:27:58 字數 590 閱讀 4473

學習筆記,歡迎參考!

hadoop基礎學習

zookeeper 安裝

hbase安裝配置

spark 基礎、實踐

spark連線hive

spark報錯彙總

python實戰spark(一)

python實戰spark(二)

python實戰spark(三)–sparkcontext

python實戰spark(四)–rdd resillient distributed dataset

python實戰spark(五)常用api

此書大部分api較老,但是部分原理解釋還是值得一看。

scala實踐spark(一)

scala實踐spark(二) pair(鍵值對操作)

scala實踐spark(三) 資料讀取與儲存

scala實踐spark(四)spark高階

scala實踐spark(五)spark集群執行

scala實踐spark(六)spark調優與除錯

scala實踐spark(七)spark sql

spark官方文件 sql getting started(一)

Hadoop 和 Spark 的異同

談到大資料,相信大家對hadoop和apache spark這兩個名字並不陌生。但我們往往對它們的理解只是提留在字面上,並沒有對它們進行深入的思考,下面不妨跟我一塊看下它們究竟有什麼異同。首先,hadoop和apache spark兩者都是大資料框架,但是各自存在的目的不盡相同。hadoop實質上更...

hadoop和spark的異同

解決問題的層面不一樣 首先,hadoop和apache spark兩者都是大資料框架,但是各自存在的目的不盡相同。hadoop實質上更多是乙個分布式資料基礎設施 它將巨大的資料集分派到乙個由普通計算機組成的集群中的多個節點進行儲存,意味著您不需要購買和維護昂貴的伺服器硬體。同時,hadoop還會索引...

Hadoop和Spark的異同

談到大資料,相信大家對hadoop和apache spark這兩個名字並不陌生。但我們往往對它們的理解只是提留在字面上,並沒有對它們進行深入的思考,下面不妨跟我一塊看下它們究竟有什麼異同。解決問題的層面不一樣 首先,hadoop和apache spark兩者都是大資料框架,但是各自存在的目的不盡相同...