檔案上傳過程：寫
8.開始上傳第乙個資料塊
9.先構建第乙個資料塊上傳的通道pipline，（客戶端->向節點發），構建通道的時候，客戶端啟動搞乙個阻塞程序，等待datanode的響應
10.開始第乙個資料塊的資料上傳（客戶端上傳到datanode01，先上傳到記憶體中，存在磁碟裡，datanode03向01進行資料拷貝）【檔案上傳的過程以packet為單位進行傳輸的64k為單位進行寫的】
11.第乙個資料塊上傳成功，關閉當前的pipline
12.開始上傳第二個資料塊
13.重複9,10,11
14.當所有的資料塊上傳完成，客戶端向namenode反饋
2.程序整個檔案的上傳的過程中，只需要保證至少乙個副本上傳成功就認為整個資料塊上傳成功，其他副本集群中自動進非同步複製
3.在進行檔案上傳的過程中，優先第乙個副本的節點，是客戶端所在的節點，（原因：保證副本最大程度的可以成功上傳乙個，就相當於本地複製的工作，不需要網路傳輸）
元資料合併：
儲存目錄上分：
4個部分：
1.secondarynamenode定期向namenode傳送檢查，檢查namenode的元資料是否需要合併，每5min傳送一次
2.namenode需要進行元資料合併
3.secondarynamenode向namenode傳送元資料合併的請求
4.namenode將正在編輯的日誌檔案回滾，變成歷史日誌檔案同時生成全新的正在編輯的日誌檔案
5.將需要合併的檔案（edits和fsimag）拉取到自己的本地
6.secondarynamenode將edits檔案和fsimage檔案進行合併在記憶體中，根部edtis檔案的日誌修改fsimage檔案
7.將合併好的fsimag檔案傳送給namenode，自己本地也會儲存乙份
8.namenode將最新的fsimage檔案進行重新命名覆蓋掉原來的fsimage檔案
元資料合併的注意點：
HDFS兩大核心 檔案的讀和寫
使用hdfs提供的客戶端client向遠端的namenode發起rpc請求。namenode接收到客戶端的請求後會檢查要建立的檔案是否存在，建立者是否有權進行操作，成功則有權操作，否則將會向客戶端報錯。客戶端真正的提交上傳檔案的請求，請求中包含乙個重要的資訊 就是檔案的大小，計算檔案需要切塊的個數 ...
spring兩大核心 IOC和AOP之詳細學習
spring核心 ioc aop 1.ioc概念和原理 什麼是ioc 1 控制反轉，把物件的建立和物件之間的呼叫過程，交給spring來實現 2 使用ioc的目的 降低耦合度 2.ioc底層原理 2.1 ioc的發展歷程 1.最原始的方式 例如 userservice呼叫userdao的方法時，是在...
大資料安全防護應注重兩大核心
移動互聯 社交網路 電子商務等極大地拓展了網際網路的邊界和應用範圍，各種資料正在迅速膨脹並變大，大資料應用隨之迅猛發展。但與此同時，國內外資料洩露事件頻發，使用者隱私受到極大挑戰，在資料驅動環境下，網路攻擊也更多地轉向儲存重要敏感資訊的資訊化系統。在此背景下，安全已成為影響大資料應用發展的重要因素之...