在業務穩定性要求比較高的情況下,運維為能及時發現問題,有時需要對應用程序的日志進行實時分析,當符合某個條件時就立刻報警,而不是被動等待出問題后去解決,比如要監控nginx的$request_time和$upstream_response_time時間,分析出最耗時的請求,然后去改進代碼,這時就要對日志進行實時分析了,發現時間長的語句就要報警出來,提醒開發人員要關注,當然這是其中一個應用場景,通過這種監控方式還可以應用到任何需要判斷或分析文件的地方,所以今天我們就來看看如何用python實現實時監控文件,我給三個方法實例::
第一種:
這個是最簡單的和容易理解的,因為大家都知道linux下有tail命令,所以你可以直接用Popen()函數去調用這個命令來執行獲取輸出,代碼如下:
1
2
3
4
5
6
|
logfile = 'access.log' command = 'tail -f ‘+logfile+' |grep “timeout”‘ popen = subprocess.Popen(command,stdout = subprocess.PIPE,stderr = subprocess.PIPE,shell = True ) while True : line = popen.stdout.readline().strip() print line |
第二種:
采用python對文件的操作來實現,用文件對象的tell(), seek()方法分別得到當前文件位置和要移動到的位置,代碼如下:
1
2
3
4
5
6
7
8
9
10
|
import time file = open (‘access.log') while 1 : where = file .tell() line = file .readline() if not line: time.sleep( 1 ) file .seek(where) else : print line, |
第三種:
利用python的 yield來實現一個生成器函數,然后調用這個生成器函數,這樣當日志文件有變化時就打印新的行,代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
import time def follow(thefile): thefile.seek( 0 , 2 ) while True : line = thefile.readline() if not line: time.sleep( 0.1 ) continue yield line if __name__ = = ‘__main__': logfile = open (“access - log”,”r”) loglines = follow(logfile) for line in loglines: print line, |
最后解釋下seek()函數的用法,這個函數接收2個參數:file.seek(off, whence=0),從文件中移動off個操作標記(文件指針),正數往結束方向移動,負數往開始方向移動。如果設定了whence參數,就以whence設定的起始位為準,0代表從頭開始,1代表當前位置,2代表文件最末尾位置。
以上就是三個常用方法,具體日志分析的代碼大家可以根據自己的業務邏輯去實現,完畢。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持服務器之家。