最近接到的任務是把hdfs的資料用json的形式，通過網路傳輸給公司a。
讀取檔案解析組裝json當然是非常容易的事情，
過程還沒走完（目前準備測試了），發現自己還是太青澀，事情考慮的確實不夠全面。
之前兩個公司資料傳輸的方案，一直是公司a直接通過內網讀我們的mysql。
但是由於我們更改了資料的計算方式，資料放到了hdfs裡面。
傳輸資料方案討論了以下幾種方案：
1、對方直接拿我們的hdfs,自己讀資料載入mysql。
（不能暴露hdfs位址，方案pass）
2、對方給我們mysql位址，由我們用sqoop抽取到對方mysql
(對方拒絕，並提出開發微服務介面方案，直接將資料post到介面。把計算資料的任務直接丟到了我這邊，猜測是也不想暴露mysql位址)
3、對方提供傳輸資料介面，我方按介面規則post資料。
按對方要求傳輸資料，ok。
開始開發讀資料傳送資料的程式。
hdfs的讀取。用框架mr ,spark，其實都ok，但是考慮到資料量並不大，直接用了原生hdfs讀取的方式，顯然對集群負擔更低。
解析資料組裝，httpclient傳送，一路開發順利。
開發結束之後，對方也發來了介面檔案。準備進入測試階段。
聯調測試過程中，一系列問題隨即出現。
雙方的集群都是封閉的，如何通過網路傳輸呢。
對方提出，他們那邊可以用外網位址+ngnix的方式，接受資料。
但是我這邊生產環境其實並不能聯網。應該也是**的方式傳送資料。go die。
這個問題完全沒有預見到。還是太青澀了，考慮問題不夠全面。
問題在開發之前就該提出。否則萬一這邊強烈的網路封閉，之前一周的工作就白做了
後知後覺，
整個過程中完全沒有考慮到封閉網路環境的問題，
其實兩邊都用**的話，公司a應該直接**mysql位址給我這邊，
我這邊直接給虛擬埠丟資料就可以了。乙個指令碼就ok。
馬上把網路**學起來。
到底自己還是非常的菜鳥呀
一次硬碟資料修復的經驗
一次硬碟資料修復的經驗 相關概念 mbr main boot record 即主引導記錄區，它位於整個硬碟的0磁軌 0柱面 1扇區，包括硬碟引導程式和分割槽表。dbr dos boot record 即作業系統引導記錄區，通常位於硬碟的0磁軌 1柱面 1扇區，是作業系統可直接訪問的第乙個扇區，它也包...
記一次處理「跨終端資料同步」
需求 終端a，終端b同時共享乙個list或數個list。終端a更新list時，終端b能在較短時間自動同步更新。技術基礎 前後端使用websocket協議進行雙向通訊。ajax輪詢的方案伺服器壓力過大，同步的延遲時間也較長 專案現狀與方案 前端為保證各個頁面資料共享，減少部分頁面響應延遲在全域性存在資...
第一次爬蟲的經驗
事先宣告哈，這不是什麼教程 博主也不會 只是記錄我自己的學習經歷中的點點滴滴，如果對讀者有一丁點的作用，我也會感覺很開心。博主目前剛上大學，軟工專業的，對專案開發那是十分神往，然後進了大學就加入了乙個專案組，正準備大施拳腳，專案導師的第乙個任務就讓我傻眼了 做乙個爬蟲。要知道那時博主連python的...