Hadoop問題解決記錄

2022-10-11 12:51:15 字數 654 閱讀 1716

# 1.解決unable to load native-hadoop library for your platform告警

首先找到對應自己hadoop版本的64位的lib包,可以自己手動去編譯,但比較麻煩,也可以去網上找,好多都有已經編譯好了的。

將準備好的64位的lib包解壓到已經安裝好的hadoop的lib目錄下:

[hadoop@hadooptest ~]$ tar -xvf hadoop-native-64-2.4.1.tar -c hadoop-2.4.1/lib

注意,是lib目錄,而不是lib下的native目錄下,這個問題整了我好久。

然後增加環境變數:

[hadoop@hadooptest hadoop-2.4.1]$ vi ~/.bash_profile

增加下面的內容:

```export hadoop_common_lib_native_dir=$hadoop_home/lib/native

export hadoop_opts="-dj**a.library.path=$hadoop_home/lib"

```讓環境變數生效:

[hadoop@hadooptest hadoop-2.4.1]$ source ~/.bash_profile

啟動hadoop,發現警告消除了,成功。

Hadoop 問題 解決

問題 執行bin hdfs namenode format和start dfs.sh後,執行jps,發現資料節點datanode未啟動 原因 執行bin hdfs namenode format初始化之後,導致namenode的clusterid和datanode的clusterid不一致 解決方案...

python問題解決記錄

一 python程式在64位電腦和32位電腦的相容性問題 1 今天遇到乙個問題,在64位機器上生成乙個exe之後,在32位電腦上不能執行,提示是相容性問題。查了一資料後發現,是因為我的生成exe的電腦上的python虛擬機器是64位的,那麼py2exe生成的exe自然是64位的,因此為了程式的相容性...

Tensorboard 問題解決記錄

具體可見 1.port 6006 was already in use 執行下面命令時 e0117 15 58 38.631224 mainthread program.py 260 tensorboard attempted to bind to port 6006,but it was alre...