深入剖析Hadoop程式日誌

了解log4j的使用。

*.log日誌檔案和*.out日誌檔案

進入我們的hadoop_log目錄，我們可以看到如下檔案：

*.out檔案則是啟動某個程式的標準輸出重定向。

比如：hadoop-admin-datanode-horde20.log是在horde20這台機器上啟動datanode程序的日誌輸出，由log4j實現。

hadoop-admin-datanode-horde20.out則是在horde20這台機器上啟動datanode時的標準輸出。

這些日誌僅僅包含在horde20這台機器上啟動datanode程序的日誌，沒有其他的資訊。

userlogs目錄下的日誌檔案

進入userlogs目錄，我們可以看到：

這裡的每乙個目錄代表每乙個task的輸出日誌。

進入其中乙個目錄可以看到：

這裡的stderr和stdout記錄了我們的task（map or reduce）的在這台機器上執行的過程中所產生的標準錯誤輸出和標準輸出。這些資訊集群中的每乙個機器上都會出現，如果資料量足夠多的話:)

syslog則記錄了在我們的task中，通過log4j介面記錄的日誌資訊。

history目錄下的日誌檔案

進入jobtracker機器的history目錄，我們可以看到：

horde20_1250841267760_job_200908211554_0001_conf.xml記錄了我們執行這個job時候的配置檔案資訊。

horde20_1250841267760_job_200908211554_0001_admin_wordcount記錄了我們執行這個job的情況。

他們是由jobhistory產生的，並且只在jobtracker機器上產生。

eventcounter

如果希望完全了解hadoop的執行狀況資訊，還需要參考counter和metric。

深入剖析Hadoop程式日誌

了解log4j的使用。log日誌檔案和 out日誌檔案 進入我們的hadoop log目錄，我們可以看到如下檔案 這裡的stderr和stdout記錄了我們的task map or reduce 的在這台機器上執行的過程中所產生的標準錯誤輸出和標準輸出。這些資訊集群中的每乙個機器上都會出現，如果資料...

PGA深入剖析

pga pga系統全域性區 program global area 程序全域性區 process global area pga是乙個記憶體區域，該區域包含了一些與某個特定伺服器程序相關的資料和控制資訊，每個程序都有自己的私有pga區，所以這塊區域只能被其所屬程序進入，而不能被其他程序訪問，所以在p...

epoll LT ET 深入剖析

epoll lt et 深入剖析 epoll事件有兩種模型 level triggered lt 水平觸發 socket接收緩衝區不為空 有資料可讀 讀事件一直觸發 socket傳送緩衝區不滿 可以繼續寫入資料 寫事件一直觸發 符合思維習慣，epoll wait返回的事件就是socket的狀態 ed...