HDFS的理論學習筆記

2021-07-28 06:07:51 字數 409 閱讀 1244

hdfs的優點

1:高容錯性,hdfs預設有多個副本,及時伺服器壞了一台之後,會補全壞掉伺服器上面的副本,放到其他的沒有壞掉的伺服器上。

2:可以構建在廉潔的機器上

hdfs的缺點

1:不適合低延遲資料量訪問

為什麼hdfs不支援修改呢?原因是hdfs儲存是按分塊的,修改了檔案的大小後,塊需要重新劃分,塊的位址有可能改變,如此hadoop的hdfs集群可能全部用來修改資料了,cpu扛不住,hadoop支援了在檔案後面新增內容,但是生成環境我們一定不能允許修改檔案。

yarn的作用,讓更多的第三方工具如spark,strom來分析hdfs的資料。

學習大資料的,可能乙個公司裡面就幾個人搞大資料,很多新的技術都要自己去看英文文件,可見英文文件的閱讀有多麼重要?如果等著別人翻譯成中文,那麼還是新技術嗎?

PMI理論學習

pmi九大知識領域 整合管理 工作範圍管理 時間管理 費用管理 質量管理 人力資源管理 溝通管理 風險管理和採購管理 和五個專案管理過程 啟動 計畫 執行 控制 收尾 九大知識領域包括 1 專案範圍管理 是為了實現專案的目標,對專案的工作內容進行控制的管理過程。它包括範圍的界定,範圍的規劃,範圍的調...

LSTM理論學習

lstm最關鍵的就是實現cell state的傳輸,而gate的存在決定傳輸過程中,以前的cell state資訊多少需要拋棄,多少輸入資訊需要加入新的cell state,多少資訊需要輸出。所以有forget,input,output三個gate 忘記多少cell state forget gat...

AI理論學習

關於ai理論學習的筆記 淺顯地理解ai領域,輸入如感知推理,輸出如下棋寫詩,有為了更好通過圖靈測試的仿生,或則是減少人工介入的 智慧型 圖靈測試就是讓人分不清是人還是機器,涉及自然語言處理 表達 推理和學習,刻意避免了直接的物理互動,完全的圖靈測試還包括計算機視覺和機械人控制,用以增強感知和輸出。亞...