最近在做一個視頻設備管理的項目,設備包括(攝像機,DVR,NVR等),包括設備信息補全,設備狀態(tài)推送,設備流地址推送等,如果同時導入的設備數(shù)量較多,如果使用單線程進行設備檢測,那么由于設備數(shù)量較多,會帶來較大的延時,因此考慮多線程處理此問題。
可以使用python語言自己實現(xiàn)線程池,或者可以使用第三方包threadpool線程池包,本主題主要介紹threadpool的使用以及其里面的具體實現(xiàn)。
1、安裝
使用安裝:
1
|
pip installthreadpool |
2、使用
(1)引入threadpool模塊
(2)定義線程函數(shù)
(3)創(chuàng)建線程 池threadpool.ThreadPool()
(4)創(chuàng)建需要線程池處理的任務即threadpool.makeRequests()
(5)將創(chuàng)建的多個任務put到線程池中,threadpool.putRequest
(6)等到所有任務處理完畢theadpool.pool()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
import threadpool def ThreadFun(arg1,arg2): pass def main(): device_list = [object1,object2,object3......,objectn] #需要處理的設備個數(shù) task_pool = threadpool.ThreadPool( 8 ) #8是線程池中線程的個數(shù) request_list = [] #存放任務列表 #首先構(gòu)造任務列表 for device in device_list: request_list.append(threadpool.makeRequests(ThreadFun,[((device, ), {})])) #將每個任務放到線程池中,等待線程池中線程各自讀取任務,然后進行處理,使用了map函數(shù),不了解的可以去了解一下。 map (task_pool.putRequest,request_list) #等待所有任務處理完成,則返回,如果沒有處理完,則一直阻塞 task_pool.poll() if __name__ = = "__main__" : main() |
上面就是一個具體的線程池的使用流程
threadpool具體的定義如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
class ThreadPool: """A thread pool, distributing work requests and collecting results. See the module docstring for more information. """ def __init__( self , num_workers, q_size = 0 , resq_size = 0 , poll_timeout = 5 ): pass def createWorkers( self , num_workers, poll_timeout = 5 ): pass def dismissWorkers( self , num_workers, do_join = False ): pass def joinAllDismissedWorkers( self ): pass def putRequest( self , request, block = True , timeout = None ): pass def poll( self , block = False ): pass def wait( self ): pass |
下一節(jié)會詳細介紹上面的整個流程以及每個函數(shù):python 線程池threadpool(實現(xiàn)篇)
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持服務器之家。
原文鏈接:https://blog.csdn.net/hehe123456ZXC/article/details/52258358