2017 7 18 學習日誌 大資料

2021-08-03 22:08:05 字數 395 閱讀 1068

1.hadoop的組成

apache hadoop軟體庫是乙個框架,允許在集群伺服器上使用簡單的程式設計模型對大資料集進行分布式處理。hadoop被設計成能夠從單台伺服器擴充套件到數以千計的伺服器,每台伺服器都有本地的計算和儲存資源。hadoop的高可用性並不依賴硬體,其**庫自身就能在應用層偵測並處理硬體故障,因此能基於伺服器集群提供高可用性的服務。

mapreduce:針對大資料的靈活的並行資料處理框架

hdfs:hadoop分布式檔案系統

//hbase:基於hadoop distributed file system,是乙個開源的,基於列儲存模型的分布式資料庫

//hive:構建在maprudece之上的資料倉儲軟體包

2.hadoop的常用工具

大資料學習日誌first

1.檢視當前目錄是什麼命 pwd 2.切換目錄的命令是什麼?cd 3.切換到家目錄有哪些命令?cd,cd 4.切換到 上一次 和 上一層的命令分別是什麼 cd 切換到上一次 cd 切換到上一層 如果是cd 表示切換到上上層,以此類推 5.絕對路徑和相對路徑 區別是什麼 絕對目錄 從根路徑開始 相對路...

大資料學習日誌fifth

1.pwd表示什麼 顯示當前目錄 2.隱藏目錄什麼標識開始,怎麼看 以.開始 ll a 3.檢視檔案的大小哪兩組命令?ll h du sh 4檢視資料夾的大小命令是什麼?du sh 5.怎樣測試埠通不通 telnet 可訪問埠的ip 埠號 6.檢視程序和埠號命令分別是什麼 ps ef grep 獲取...

大資料學習日誌tenth

path環境變數下儲存的路徑 全域性環境變數是所有使用者都能使用的,而個人的是指定使用者才能使用的,其他使用者無法使用 a.檢視你的輸入是否有問題 b.這個命令的儲存路徑並沒有配置在全域性環境變數當中 c.這個命令也許是配置在個人的環境變數之中,不是你當前的使用者。使用命令ifconfig或者hos...