解決flume讀取檔案新增出錯

2021-10-07 17:54:06 字數 328 閱讀 7628

1:現象:

flume抽取日誌檔案時,日誌檔案還在增加,導致讀取出錯

2:原因:

1:原指令碼讀取網關機時,日誌剛生成就被移走,同時閘道器已經開啟檔案描述符,所以後續繼續向移過去的檔案追加內容

2:由於網關機服務設定最大只保留乙個歷史檔案,且生成策略為每分鐘乙個檔案,而linux crontab執行為最低每分鐘執行

3:解決方式:

1:vim /etc/postfix/main.cf 將配置inet_inte***ces = all(可選,若/var/log/cron報錯)

2:更換log_copy.sh指令碼,新增休眠3秒目的錯開檔案生成時間

!!!讀取檔案出錯

在python3環境下 利用python進行資料分析 書中,在第9章節中,讀取消費資料集,出現錯誤 import pandas as pdimport numpy asnp from pandas import series,dataframe tips pd.read csv r e 私人 pyd...

flume實時讀取檔案到kafka

背景 需要實時讀取log日誌檔案中的記錄到kafka 1.zookeeper服務需要開啟,檢視zookeeper的狀態,zookeeper的安裝及啟動過程可檢視 root master kafka 2.11 0.11 opt soft zookeeper 3.4.13 bin zkserver.sh...

讀取bmp檔案頭出錯

typedef struct tagbitmapfileheader bitmapfileheader bitmapfileheader bf bitmapinfoheader bi word bftype fread bftype,1,2,f1 coutcout 開始 如上,讀取的bf.bfsiz...