大資料技術原理與應用第3講 分布式檔案系統HDFS

2021-09-22 20:19:05 字數 1338 閱讀 1736

a.位元組

b.塊c.檔案

d.目錄

a.客戶端通過乙個可配置的埠向名稱節點主動發起tcp連線,並使用客戶端協議與名稱節點進行互動

b.名稱節點和資料節點之間則使用資料節點協議進行互動

c.客戶端與資料節點的互動是通過rpc(remote procedure call)來實現的

d.hdfs通訊協議都是構建在iot協議基礎之上的

a.加快資料傳輸速度

b.保證資料可靠性

c.節約儲存空間

d.容易檢查資料錯誤

a.start-hdfs.sh,stop-dfs.sh

b.start-dfs.sh,stop-dfs.sh

c.start-hdfs.sh,stop-hdfs.sh

d.start-dfs.sh,stop-hdfs.sh

a.從節點,主節點

b.名稱節點,資料節點

c.名稱節點,主節點

d.資料節點,名稱節點

a.分布式檔案系統hdfs比較適合儲存大量零碎的小檔案

b.分布式檔案系統hdfs是google bigtable的一種開源實現

c.分布式檔案系統hdfs是谷歌分布式檔案系統gfs(google file system)的一種開源實現

d.分布式檔案系統hdfs是一種關係型資料庫

a.名稱節點的資料儲存在記憶體中

b.名稱節點用來負責具體使用者資料的儲存

c.名稱節點通常用來儲存元資料

d.名稱節點作為中心伺服器,負責管理檔案系統的命名空間及客戶端對檔案的訪問

a.資料節點用來儲存具體的檔案內容

b.資料節點通常只有乙個

c.資料節點在名稱節點的統一排程下進行資料塊的建立、刪除和複製等操作

d.資料節點的資料儲存在磁碟中

a.效能的瓶頸

b.集群的可用性

c.隔離問題

d.命名空間的限制

a.hadoop dfs mkdir :建立指定的資料夾

b.hadoop fs -ls :顯示指定的檔案的詳細資訊

c.hadoop fs -copyfromlocal :將路徑指定的檔案或資料夾複製到路徑指定的資料夾中

d.hdfs dfs -rm :刪除路徑指定的檔案

大資料技術原理與應用 筆記

大資料 思路的轉變 全樣而非抽樣 效率而非精確 相關而非因果 分布式儲存 和 分布式處理 解決了 分布式儲存 分布式處理 虛擬化和多租戶 yarn 簡稱 樣 作用是起到 排程作用 因為在版本1時 mapreduce 即處理 又負責排程 版本2進行拆分 集群資源管理 解決海量資料分布式儲存問題 幾個重...

大資料技術原理與應用 分布式資料庫HBas

1.hbase與hdfs mapreduce hive之間的關係 hadoop hdfs為hbase提供了高可靠性的底層儲存支援,hadoop mapreduce為hbase提供了高效能的計算能力,zookeeper為hbase提供了穩定服務和failover機制。pig和hive還為hbase提供...

大資料技術原理與應用筆記(1) 大資料概述

大資料技術與原理 課程筆記 目錄 1.1大資料概念 1.2資料產生方式 1.3技術支撐 1.4大資料的影響 1.5大資料的關鍵技術 1.6大資料的計算模式 1 資料量大 大量化 2 資料型別繁多 多樣化 10 結構化資料,90 非結構化資料 3 處理速度快 快速化 1秒定律 秒級決策 4 價值密度低...