一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

腳本之家,腳本語言編程技術及教程分享平臺!
分類導航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服務器之家 - 腳本之家 - Python - 使用Python中的greenlet包實現并發編程的入門教程

使用Python中的greenlet包實現并發編程的入門教程

2020-06-07 10:48Python入門教程 Python

這篇文章主要介紹了使用Python中的greenlet包實現并發編程的入門教程,Python由于GIL的存在并不能實現真正的多線程并發,greenlet可以做到一個相對的替換方案,需要的朋友可以參考下

1   動機

greenlet 包是 Stackless 的副產品,其將微線程稱為 “tasklet” 。tasklet運行在偽并發中,使用channel進行同步數據交換。

一個”greenlet”,是一個更加原始的微線程的概念,但是沒有調度,或者叫做協程。這在你需要控制你的代碼時很有用。你可以自己構造微線程的 調度器;也可以使用”greenlet”實現高級的控制流。例如可以重新創建構造器;不同于Python的構造器,我們的構造器可以嵌套的調用函數,而被 嵌套的函數也可以 yield 一個值。(另外,你并不需要一個”yield”關鍵字,參考例子)。

Greenlet是作為一個C擴展模塊給未修改的解釋器的。

1.1   例子

假設系統是被控制臺程序控制的,由用戶輸入命令。假設輸入是一個個字符的。這樣的系統有如如下的樣子:

?
1
2
3
4
5
6
7
8
9
10
def process_commands(*args):
  while True:
    line=''
    while not line.endswith('\n'):
      line+=read_next_char()
    if line=='quit\n':
      print "are you sure?"
      if read_next_char()!="y":
        continue  #忽略指令
    process_commands(line)

現在假設你要把程序移植到GUI,而大多數GUI是事件驅動的。他們會在每次的用戶輸入時調用回調函數。這種情況下,就很難實現 read_next_char() 函數。我們有兩個不兼容的函數:

def event_keydown(key):
    ??

def read_next_char():
    ?? 需要等待 event_keydown() 的調用

你可能在考慮用線程實現。而 Greenlet 是另一種解決方案,沒有鎖和關閉問題。你啟動 process_commands() 函數,分割成 greenlet ,然后與按鍵事件交互,有如:

?
1
2
3
4
5
6
7
8
9
10
11
def event_keydown(key):
  g_processor.switch(key)
 
def read_next_char():
  g_self=greenlet.getcurrent()
  next_char=g_self.parent.switch()  #跳到上一層(main)的greenlet,等待下一次按鍵
  return next_char
 
g_processor=greenlet(process_commands)
g_processor.switch(*args)
gui.mainloop()

這個例子的執行流程是: read_next_char() 被調用,也就是 g_processor 的一部分,它就會切換(switch)到他的父greenlet,并假設繼續在頂級主循環中執行(GUI主循環)。當GUI調用 event_keydown() 時,它切換到 g_processor ,這意味著執行會跳回到原來掛起的地方,也就是 read_next_char() 函數中的切換指令那里。然后 event_keydown() 的 key 參數就會被傳遞到 read_next_char() 的切換處,并返回。

注意 read_next_char() 會被掛起并假設其調用棧會在恢復時保護的很好,所以他會在被調用的地方返回。這允許程序邏輯保持優美的順序流。我們無需重寫 process_commands() 來用到一個狀態機中。

2   使用

2.1   簡介

一個 “greenlet” 是一個很小的獨立微線程。可以把它想像成一個堆棧幀,棧底是初始調用,而棧頂是當前greenlet的暫停位置。你使用greenlet創建一堆這樣的堆 棧,然后在他們之間跳轉執行。跳轉不是絕對的:一個greenlet必須選擇跳轉到選擇好的另一個greenlet,這會讓前一個掛起,而后一個恢復。兩 個greenlet之間的跳轉稱為 切換(switch) 。

當你創建一個greenlet,它得到一個初始化過的空堆棧;當你第一次切換到它,他會啟動指定的函數,然后切換跳出greenlet。當最終棧底 函數結束時,greenlet的堆棧又編程空的了,而greenlet也就死掉了。greenlet也會因為一個未捕捉的異常死掉。

例如:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from py.magic import greenlet
 
def test1():
  print 12
  gr2.switch()
  print 34
 
def test2():
  print 56
  gr1.switch()
  print 78
 
gr1=greenlet(test1)
gr2=greenlet(test2)
gr1.switch()

最后一行跳轉到 test1() ,它打印12,然后跳轉到 test2() ,打印56,然后跳轉回 test1() ,打印34,然后 test1() 就結束,gr1死掉。這時執行會回到原來的 gr1.switch() 調用。注意,78是不會被打印的。

2.2   父greenlet

現在看看一個greenlet死掉時執行點去哪里。每個greenlet擁有一個父greenlet。父greenlet在每個greenlet初 始化時被創建(不過可以在任何時候改變)。父greenlet是當greenlet死掉時,繼續原來的位置執行。這樣,greenlet就被組織成一棵 樹,頂級的代碼并不在用戶創建的 greenlet 中運行,而稱為主greenlet,也就是樹根。

在上面的例子中,gr1和gr2都是把主greenlet作為父greenlet的。任何一個死掉,執行點都會回到主函數。

未捕獲的異常會波及到父greenlet。如果上面的 test2() 包含一個打印錯誤(typo),他會生成一個 NameError 而干掉gr2,然后執行點會回到主函數。traceback會顯示 test2() 而不是 test1() 。記住,切換不是調用,但是執行點可以在并行的棧容器間并行交換,而父greenlet定義了棧最初從哪里來。

2.3   實例

py.magic.greenlet 是一個 greenlet 類型,支持如下操作:

greenlet(run=None,parent=None)

    創建一個greenlet對象,而不執行。run是執行回調,而parent是父greenlet,缺省是當前greenlet。

greenlet.getcurrent()

    返回當前greenlet,也就是誰在調用這個函數。

greenlet.GreenletExit

    這個特定的異常不會波及到父greenlet,它用于干掉一個greenlet。

greenlet 類型可以被繼承。一個greenlet通過調用其 run 屬性執行,就是創建時指定的那個。對于子類,可以定義一個 run() 方法,而不必嚴格遵守在構造器中給出 run 參數。

2.4   切換

greenlet之間的切換發生在greenlet的 switch() 方法被調用時,這會讓執行點跳轉到greenlet的 switch() 被調用處。或者在greenlet死掉時,跳轉到父greenlet那里去。在切換時,一個對象或異常被發送到目標greenlet。這可以作為兩個greenlet之間傳遞信息的方便方式。例如:

?
1
2
3
4
5
6
7
8
9
10
11
def test1(x,y):
  z=gr2.switch(x+y)
  print z
 
def test2(u):
  print u
  gr1.switch(42)
 
gr1=greenlet(test1)
gr2=greenlet(test2)
gr1.switch("hello"," world")

這會打印出 “hello world” 和42,跟前面的例子的輸出順序相同。注意 test1() 和 test2() 的參數并不是在 greenlet 創建時指定的,而是在第一次切換到這里時傳遞的。

這里是精確的調用方式:

?
1
g.switch(obj=None or *args)

切換到執行點greenlet g,發送給定的對象obj。在特殊情況下,如果g還沒有啟動,就會讓它啟動;這種情況下,會傳遞參數過去,然后調用 g.run(*args) 。

垂死的greenlet

    如果一個greenlet的 run() 結束了,他會返回值到父greenlet。如果 run() 是異常終止的,異常會波及到父greenlet(除非是 greenlet.GreenletExit 異常,這種情況下異常會被捕捉并返回到父greenlet)。

除了上面的情況外,目標greenlet會接收到發送來的對象作為 switch() 的返回值。雖然 switch() 并不會立即返回,但是它仍然會在未來某一點上返回,當其他greenlet切換回來時。當這發生時,執行點恢復到 switch() 之后,而 switch() 返回剛才調用者發送來的對象。這意味著 x=g.switch(y) 會發送對象y到g,然后等著一個不知道是誰發來的對象,并在這里返回給x。

注意,任何嘗試切換到死掉的greenlet的行為都會切換到死掉greenlet的父greenlet,或者父的父,等等。最終的父就是 main greenlet,永遠不會死掉的。

2.5   greenlet的方法和屬性

g.switch(obj=None or *args)

    切換執行點到greenlet g,同上。

g.run

    調用可執行的g,并啟動。在g啟動后,這個屬性就不再存在了。

g.parent

    greenlet的父。這是可寫的,但是不允許創建循環的父關系。

g.gr_frame

    當前頂級幀,或者None。

g.dead

    判斷是否已經死掉了

bool(g)

    如果g是活躍的則返回True,在尚未啟動或者結束后返回False。

g.throw([typ,[val,[tb]]])

    切換執行點到greenlet g,但是立即拋出指定的異常到g。如果沒有提供參數,異常缺省就是 greenlet.GreenletExit 。根據異常波及規則,有如上面描述的。注意調用這個方法等同于如下:

?
1
2
3
4
5
def raiser():
  raise typ,val,tb
 
g_raiser=greenlet(raiser,parent=g)
g_raiser.switch()

2.6   Greenlet與Python線程

greenlet可以與Python線程一起使用;在這種情況下,每個線程包含一個獨立的 main greenlet,并擁有自己的greenlet樹。不同線程之間不可以互相切換greenlet。

2.7   活動greenlet的垃圾收集

如果不再有對greenlet對象的引用時(包括其他greenlet的parent),還是沒有辦法切換回greenlet。這種情況下會生成一個 GreenletExit 異常到greenlet。這是greenlet收到異步異常的唯一情況。應該給出一個 try .. finally 用于清理greenlet內的資源。這個功能同時允許greenlet中無限循環的編程風格。這樣循環可以在最后一個引用消失時自動中斷。

如果不希望greenlet死掉或者把引用放到別處,只需要捕捉和忽略 GreenletExit 異常即可。

greenlet不參與垃圾收集;greenlet幀的循環引用數據會被檢測到。將引用傳遞到其他的循環greenlet會引起內存泄露。

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 午夜精品久久久久久久99蜜桃 | 日本护士xxxx爽爽爽 | 国产午夜精品一区二区三区 | 色婷婷久久综合中文久久一本` | futa巨大好爽好长 | 好大好粗好爽 | 国产98在线 | 91大片淫黄大片在线天堂 | 91porn在线观看国产 | 爸爸的宝贝小说全文在线阅读 | 日本高清视频网站 | 成年人视频免费在线播放 | narutomanga玖辛奈本子 | 无人区乱码区1卡2卡三卡在线 | 丝袜高跟小说 | 国产亚洲福利精品一区二区 | 2019中文字幕 | 阿 好深 快点 老师受不了 | sihu国产午夜精品一区二区三区 | 国产码一区二区三区 | 国产精品夜色视频一级区 | 欧美大陆日韩一区二区三区 | 欧美整片在线 | 精品国产香蕉 | 日本偷拍xxxxxxww| 日韩一区二区三区四区不卡 | 好 舒服 好 粗 好硬 好爽 | 久久AV国产麻豆HD真实 | 72张让男人一看就硬的图片 | 天天操天天干天天 | 国产精品视频久 | 欧美在线播放成人免费 | 亚洲夜色夜色综合网站 | 国产一卡2卡3卡四卡国色天香 | 亚洲国产精品久久网午夜小说 | 亚洲精品国产在线网站 | 97色综合| 成年人免费在线看的惊悚动作片 | dyav午夜片| 成年性生交大片免费看 | 国产欧美亚洲精品第一页青草 |