前言
最近在寫項目,需要用到信號量等待一些資源完成,但是最多等待N毫秒。在看本文的正文之前,我們先來看下C語言里的實現方法。
在C語言里,有如下的API來實現帶超時的信號量等待:
1
2
3
4
5
|
SYNOPSIS #include <pthread.h> int pthread_cond_timedwait(pthread_cond_t *cond, pthread_mutex_t *mutex, const struct timespec *abstime); |
然后在查看golang的document后,發現golang里并沒有實現帶超時的信號量,官方文檔在這里。
原理
我的業務場景是這樣的:我有一個緩存字典,當多個用戶請求1個不存在的key時,只有1個請求會穿透到后端,而所有用戶都要排隊等這個請求完成,或者超時返回。
怎么實現呢?其實稍微想一想cond的原理,就能模擬一個帶超時的cond出來。
在golang里,要同時實現”掛起等待”和”超時返回”,一般得用select case語法,一個case等待阻塞的資源,一個case等待一個timer,這一點是非常確定的。
原本阻塞的資源應該通過條件變量的機制來實現完成通知,既然這里決定用select case,那么自然想到用channel來代替這個完成通知。
接下來的問題就是,很多請求者并發來獲取這個資源,但是資源還沒有準備好,所以大家都要排隊并掛起,等待資源完成,并且當資源完成后通知大家。
所以,這里很自然要為這個資源做一個隊列,每個請求者創建一個chan,并將chan放到隊列里,接著select case等待這個chan的通知。而另一端,資源完成后遍歷隊列,通知每個chan即可。
最后一個問題是,只有第一個請求者才能穿透請求到后端,而后續請求者不應該穿透重復的請求,這可以通過判斷緩存里是否有這個key作為判定首次的條件,而標記位init來判斷請求者是否應該排隊。
我的場景
上面是思路,下面是我的業務場景實現。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
|
func (cache *Cache) Get(key string, keyType int) *string { if keyType == KEY_TYPE_DOMAIN { key = "#" + key } else { key = "=" + key } cache.mutex.Lock() item, existed := cache.dict[key] if !existed { item = &cacheItem{} item.key = &key item.waitQueue = list.New() cache.dict[key] = item } cache.mutex.Unlock() conf := config.GetConfig() lastGet := getCurMs() item.mutex.Lock() item.lastGet = lastGet if item.init { // 已存在并且初始化 defer item.mutex.Unlock() return item.value } // 未初始化,排隊等待結果 wait := waitItem{} wait.wait_chan = make(chan *string, 1) item.waitQueue.PushBack(&wait) item.mutex.Unlock() // 新增key, 啟動goroutine獲取初始值 if !existed { go cache.initCacheItem(item, keyType) } timer := time.NewTimer(time.Duration(conf.Cache_waitTime) * time.Millisecond) var retval *string = nil // 等待初始化完成 select { case retval = <- wait.wait_chan: case <- timer.C: } return retval } |
簡述一下整個過程:
- 首先鎖字典,如果key不存在,說明我是第一個請求者,我會創建這個key對應的value,只不過init=false表示它正在初始化。最后,釋放字典鎖。
- 接下來,鎖住這個key,判斷它已經初始化完成,那么直接返回value。否則,創建一個chan放入waitQueue等待隊列。最后,釋放key鎖。
- 接著,如果當前是第一個請求者,那么會穿透請求到后端(在一個獨立的協程里去發起網絡調用)。
- 現在,創建一個用于超時的定時器。
- 最后,無論當前是否是key的第一個請求者,還是初始化期間的并發請求者,它們都通過select case超時的等待結果完成。
在initCacheItem函數里,數據已獲取成功
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
// 一旦標記為init, 后續請求將不再操作waitQueue item.mutex.Lock() item.value = newValue item.init = true item.expire = expire item.mutex.Unlock() // 喚醒所有排隊者 waitQueue := item.waitQueue for elem := waitQueue.Front(); elem != nil; elem = waitQueue.Front() { wait := elem.Value.(*waitItem) wait.wait_chan <- newValue waitQueue.Remove(elem) } |
- 首先,鎖住key,標記init=true,并賦值value,并釋放鎖。此后的請求,都可以立即返回,無需排隊。
- 之后,因為init=true已被標記,此刻再也有沒有請求會修改waitQueue,所以無需加鎖,直接遍歷隊列,通知其中的每個chan。
最后
這樣就實現了帶超時的條件變量效果,實際上我的場景是一個broadcast的cond例子,大家可以參照思路實現自己想要的效果,活學活用。
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作能帶來一定的幫助,如果有疑問大家可以留言交流,謝謝大家對服務器之家的支持。
原文鏈接:https://yuerblog.cc/2017/09/04/golang-condition-variable-with-timeout/