公司小站的nginx伺服器日誌一直沒有管理 到發現的時候已經有50g+的logs檔案 檢視起來十分不便 只能將其切割
接下來分享 具體方法
split -l 5000（行數） -a 5（增加檔名上限） /www/logs/fxingzhanaccess/new_file_prefixaaahz /www/logs/fxingzhanaccess/2017-09/new_file_prefix
split -l 300 large_file.txt new_file_prefix使用split命令來分割檔案
**片段中-l之後的數字 300 即為 分割的行數 即每300行分割一次 **最後的new_file_prefix為預設的檔名
但是如果我們沒有分析完畢 原始檔有多少行 很有可能 預設的檔名用完了 依然沒有分割完畢
此時就需要我們先搞清楚我們分割的檔案具體行數
wc -l filename再具體切割
同時split也支援為預設檔名增加引數
split -l 5000（行數） -a 5（增加檔名上限） /file /new_file_prefix這樣切割之後就會有如圖的檔案產生
之後再進行分析就會比較容易了
（python）根據檔案行數切割檔案
這是使用python寫的根據檔案行數切割檔案的函式，實測速度尚可，在原始檔大概200w 新檔案20w的情況下測試了5個原始檔，用時14s，基本滿足筆者需要，因此沒有繼續進行優化，設想的優化思路包括使用多執行緒等，需要讀者去完善。找到源檔案目錄，利用乙個大迴圈逐個向後推進。大迴圈內有兩個小迴圈 1 第...
linux之按照日期切割nohup日誌
bin bash 獲取前一天的時間 dt date d yesterday y m d 生成備份檔案目錄 mkdir p home packages log 備份檔案 cp home packages running.log home packages log running dt.log 原始檔案...
Linux下使用split按行數進行切割
說明 一般來說split按行數切割多數用在日誌檔案上。例項 將乙個大檔案分成若干個小檔案方法 例如將乙個blm.txt檔案分成字首為blm 的1000個小檔案，字尾為係數形式，且字尾為4位數字形式 1 先利用 wc l blm.txt 讀出blm.txt檔案一共有多少行 再利用split命令 spl...