首先介紹下怎么發(fā)現(xiàn)的吧, 線上的項(xiàng)目日志是通過(guò) logging 模塊打到 syslog 里, 跑了一段時(shí)間后發(fā)現(xiàn) syslog 的 UDP 連接超過(guò)了 8W, 沒錯(cuò)是 8 W. 主要是 logging 模塊用的不對(duì)
我們之前有這么一個(gè)需求, 就是針對(duì)每一個(gè)連接日志輸出當(dāng)前連接的信息, 所以每一個(gè) 連接就創(chuàng)建了一個(gè)日志實(shí)例, 并分配一個(gè) Formatter, 創(chuàng)建日志實(shí)例為了區(qū)分其他連接 所以我就簡(jiǎn)單粗暴的用了當(dāng)前對(duì)象的 id 來(lái)作為日志名稱:
|
1
2
3
4
5
6
7
|
import loggingclass Connection(object): def __init__(self): self._logger_name = "Connection.{}".format(id(self)) self.logger = logging.getLogger(self._logger_name) |
當(dāng)然測(cè)試環(huán)境是開 DEBUG, 開 DEBUG 就不會(huì)往 syslog 里打, 所以不會(huì)出現(xiàn) UDP 連接數(shù) 過(guò)多, 也就不會(huì)知道有內(nèi)存泄露的, 我們來(lái)看看這樣為什么會(huì)導(dǎo)致內(nèi)存泄露, 首先看看 getLogger 的代碼:
|
1
2
3
4
5
6
7
8
9
10
|
def getLogger(name=None): """ Return a logger with the specified name, creating it if necessary. If no name is specified, return the root logger. """ if name: return Logger.manager.getLogger(name) else: return root |
主要調(diào)用了 Logger.manager.getLogger, 這個(gè)函數(shù)有下面一段代碼片段
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
if name in self.loggerDict: rv = self.loggerDict[name] if isinstance(rv, PlaceHolder): ph = rv rv = (self.loggerClass or _loggerClass)(name) rv.manager = self self.loggerDict[name] = rv self._fixupChildren(ph, rv) self._fixupParents(rv)else: rv = (self.loggerClass or _loggerClass)(name) rv.manager = self self.loggerDict[name] = rv self._fixupParents(rv) |
logging 模塊為了保證同一個(gè)名稱引用同一個(gè)日志實(shí)例,所以就把所有的日志實(shí)例全部存 在了一個(gè) loggerDict 的字典里, 所以除非程序退出, 創(chuàng)建的日志實(shí)例引用是不會(huì)釋放的, 所以日志實(shí)例里的 handlers 也不會(huì)釋放. 之前我又用的對(duì)象的 id 來(lái)作為日志名稱 的一部分, 所以 SyslogHandler 創(chuàng)建的 UDP 連接就一直被占用導(dǎo)致了過(guò)多的 UDP 連接.
為了解決這個(gè)問(wèn)題我在連接關(guān)閉的時(shí)候加入了如下代碼:
|
1
2
3
|
logging.Logger.manager.loggerDict.pop(self._logger_name)self.logger.manager = Noneself.logger.handlers = [] |
按說(shuō)只加上上面第一行的代碼就應(yīng)該釋放了, 但是沒有, 所以又有了第三行代碼, SyslogHandler 才最終釋放, 這個(gè)問(wèn)題暫時(shí)還不知道為什么, 還需要再查查.
2015-03-30 更新 如果日志名稱是以 . 分隔, logging 模塊則會(huì)將最后一部分作為日志名, 并往上去尋找 父 Logger, 如果找不到則創(chuàng)建 PlaceHolder 對(duì)象作為父, 并引用 Logger.
比如創(chuàng)建的 Logger 名稱為 a.b.c, 那么實(shí)際的名稱則為 c, 并將 b 作為 c 的父, a 作為 b 的 父, 如果沒有該名稱的 Logger 則創(chuàng)建 PlaceHolder 對(duì)象作為代替, PlaceHolder 會(huì)創(chuàng)建對(duì)當(dāng)前 Logger 的引用. 所以需要被回收的日志對(duì)象名稱里不應(yīng)包含 .
