hadoop的使用場合與不使用場合

2021-08-07 04:28:27 字數 510 閱讀 9044

1.在web中頁面的快速響應中不適合用hadoop(響應時間在ms級別)

2.大量的小檔案處理不使用用hadoop(元資料較多,而且元資料是儲存在namenode中的,記憶體占用大)

3.hdfs中的block:乙個block只是可以儲存乙個檔案;但是乙個檔案可以由多個塊組成,預設情況下乙個block有2個副本(為了安全,可以手動配置),hadoop中預設的block大小是64mb

4.各個節點的功能

1.namenode:接受客戶端的讀寫服務,儲存元資料資訊,檔案包含哪些塊,block儲存在哪個datanode(由datanode啟動時候上報)

2.secondarynamenode:不是namenode的備份,是一部分元資料的備份,主要是幫助namenode進行合併edits檔案中資料

3.datanode:儲存block,datanode主動向namenode傳送心跳資料

4.block副本之間的複製是由datanode新開執行緒進行複製,不是由客戶端直接寫3份

tire樹的原理與使用場合

1.tire樹可以理解為乙個n叉樹,對於26個字母集的tire樹即是乙個26叉樹。對於10個阿拉伯數字即是乙個10叉樹。2.tire樹的插入 查詢 刪除的時間複雜度都是o n n為待插入 查詢 刪除字串的長度。3.tire樹的使用場合 1 求最近公共祖先,需要利用tire樹作為資料結構 2 排序 前...

mongodb 使用場景和不使用場景

1.mongodb介紹 mongodb 名稱來自 humongous 是乙個可擴充套件的高效能,開源,模式自由,面向文件的資料庫。它使用c 編寫。mongodb特點 a.面向集合的儲存 適合儲存物件及json形式的資料。b.動態查詢 mongo支援豐富的查詢表達方式,查詢指令使用json形式的標記,...

mongodb 使用場景和不使用場景

mongodb 使用場景和不使用場景 2012 09 26 10 30 18 分類 linux 1.mongodb介紹 mongodb 名稱來自 humongous 是乙個可擴充套件的高效能,開源,模式自由,面向文件的資料庫。它使用c 編寫。mongodb特點 a.面向集合的儲存 適合儲存物件及js...