一、為什麼要做基準測試有兩個問題：
將乙個 1t 的資料上傳到 hdfs 需要多久？
將乙個 10t 的資料從 hdfs 讀取完畢需要多久？
如果不做基準測試，這兩個問題就沒有答案，因為不知道。所以在搭建完集群後，一定要先做基準測試。
二、如何做基準測試1.測試 hdfs 寫效能：向 hdfs 寫 10個 128m 的檔案（看自己心情設定檔案個數和大小）
hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar testdfsio -write -nrfiles 10 -filesize 128mb
結果如下：
這裡主要看throughput引數即可，我的測試結果為：3.25 mb 每秒（本人筆記本虛擬機器4g記憶體測試，效能很低）
2.測試 hdfs 讀效能：讀取 hdfs 10個 128m 的檔案
hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar testdfsio -read -nrfiles 10 -filesize 128mb
結果如下：
這裡依然看throughput引數即可，我的測試結果為：40.38 mb 每秒
3.測完最後刪除測試資料
hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar testdfsio -clean
三、使用sort 程式評測 mapreduce此項測試建議在強大的集群環境下做，最好不要在自己的低配電腦上（記憶體小於32g）做測試，否則......1.使用randomwriter來產生隨機數，每個節點執行10個map任務，每個map產生大約1g大小的二進位制隨機數
hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar randomwriter random-data
2.執行sort程式
hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar sort random-data sorted-data
3.驗證資料是否真正排好序了
hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar testmapredsort -sortinput random-data -sortoutput sorted-data
為什麼要做介面測試
現在介面測試很多團隊和企業都在要求，其實介面測試一直都存在，為何現在會突然開始要求更高呢？自動化測試分層概念的提出 到目前為止 ui 自動化都很難達到預期的效果，而單元測試成本和難度依舊太高 移動應用興起，出現多種前端的情況，ui 測試成本變高 微服務架構的流行，模組與模組的互動變成了服務與服務之間...
為什麼要做滲透測試
滲透測試 幾乎每次滲透測試都揭示了重要的安全漏洞 敢說你不需要？除非你沒有 web 應用 摘引至 2019 年 cncert 國家網際網路資訊保安響應中心報告 web 安全刻不容緩 在網路安全的背景下，並不意味著企業應該尋求破解威脅行為者的系統。相 反，它指的是組織需要將滲透測試或具有主動測試形式的...
為什麼要做介面測試
怎麼做介面測試由於我們的前後端介面主要是http協議的介面，因此我們需要通過 或工具，來模擬http請求的傳送和接收，可以用postman jemter python requests 什麼是介面測試介面測試是測試系統元件間介面的一種測試。介面測試主要用於檢測外部系統與系統之間以及內部各個子系統之間...