大資料 異常解決記錄

2021-10-13 07:31:28 字數 1020 閱讀 9714

報記憶體不足

container [pid=8468,containerid=container_1594198338753_0001_01_000002] is running 318740992b beyond the 'virtual' memory limit. current usage: 111.5 mb of 1 gb physical memory used; 2.4 gb of 2.1 gb virtual memory used. killing container.

dump of the process-tree for container_1594198338753_0001_01_000002 :

解決辦法:在 hadoop102 的/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml 檔案中增加如下配置,然後分發到 hadoop103、hadoop104 伺服器上,並重新啟動集群:

>

>

yarn.nodemanager.pmem-check-enabledname

>

>

falsevalue

>

property

>

>

>

yarn.nodemanager.vmem-check-enabledname

>

>

falsevalue

>

property

>

注意:如果測試過程中,出現異常可以在 yarn-site.xml 中設定虛擬記憶體檢測為 false分發配置並重啟集群

>

>

yarn.nodemanager.vmem-check-enabledname

>

>

falsevalue

>

property

>

異常記錄 資料對比異常

業務邏輯中需要對比兩個物件是否是同乙個物件,不知道為什麼我去判斷兩個物件是否是同乙個物件,就用 去判斷兩個商品的id,然後id相等的時候返回給我乙個false,然後我嘗試用equals方法去判斷,然後就會返回乙個true,我想可能是因為我用了包裝型別integer型別的原因,測試了一下找到原因了,是...

MacBook 聯網異常 解決記錄

可能是最近移動在修線路,家裡wifi老不穩定,近日已經斷了幾次,導致我的macbook網路連線出現好幾次問題,所幸都自己修復好了。雖說都是小問題,但我記憶力不好,特此記錄一下備忘。問題1 macbook可以連線wifi,但無法上網 iphone也無法上網 windows系統和安卓手機可以正常上網。解...

《大資料時代》記錄

今天除夕,祝所有人春節快樂,身體健康,萬事如意!大資料時代 是國外大資料研究的先河之作,本書作者維克托 邁爾 捨恩伯格被譽為 大資料商業應用第一人 擁有在哈佛大學 牛津大學 耶魯大學和新加坡國立大學等多個網際網路研究重鎮任教的經歷,早在2010年就在 經濟學人 上發布了長達14頁對大資料應用的前瞻性...