為什麼今天來討論這個話題呢？因為昨天遇到乙個大坑，其實也不是算大坑吧，就是一件特別奇怪的事兒。
不多bb，直接上圖，在我提交sparksql和datax同步任務的時候發現部分任務報錯如下：
部分任務oom了，所在機器配置是物理記憶體為32g，我提交了20個任務......(datax同步任務有最大使用記憶體限制為1g、sparksql只有乙個driver端在伺服器上面，沒有設定，預設為1g)
spark官網預設配置如下：
那麼這樣算的話，提交20個任務，即占用記憶體20g，那麼總共是32g，用了20，感覺很飽滿啊？？？資源充足噻~
經過排查後發現，linux的最大執行緒數為4096,猜測是不是由於最大執行緒數導致的呢?
然後可以參考這篇文章進行調整:
簡單的調整的話，也很簡單：調整下圖的引數即可：
調整完這個，修改為65535，以後發現仍然報錯，那我就不是執行緒數的問題。
然後繼續看，會是神馬問題導致的呢？
測試15個併發的情況，去進行提交作業以後，發現ok了~
建議：任務提交的時候，設定併發，一定要預留好空間噻。
隨筆 聊一聊伺服器的那些事兒
今天和乙個搞前端的同學聊天，他認為的伺服器貌似和我們開發的時候的伺服器不一樣，正好藉著這個機會聊聊什麼是伺服器 大家眼中的伺服器是什麼樣子的。也就是大家心目中最常見的機房的形象，專門的環境和人員對大型伺服器進行管理。而在運維的同學眼中可能是這樣的 特點 企業購買或者租用伺服器，需要配備專門的運維人員...
Nodejs搭建伺服器的那些事兒？
搭建伺服器最先是http協議 我們不用自己寫，應用進來就行 其中listen 括號中的是埠 http提供了一種方法createserver function req,res 用來創造乙個伺服器 那麼我們要了解我們從網頁上的來的資料有兩個請求 get 和post get請求被鑲在路徑中，那麼我們獲取他...
ping 一下伺服器的IP
ping命令是windows系統是用於檢測網路連線性的基本命令，其基本命令格式為 ping 目標ip位址或者網域名稱，例如檢測www.baidu.com的連線是否正常 1 點選開始，點選執行，輸入cmd，點選確定 2 提示符後輸入 pingwww.baidu.com,回車 3 看到下圖資訊丟失 0，...