前言
Redis服務(wù)是一種C/S模型，提供請求－響應(yīng)式協(xié)議的TCP服務(wù)，所以當(dāng)客戶端請求發(fā)出，服務(wù)端處理并返回結(jié)果到客戶端，一般是以阻塞形式等待服務(wù)端的響應(yīng)，但這在批量處理連接時延遲問題比較嚴(yán)重，所以Redis為了提升或彌補這個問題，引入了管道技術(shù)：可以做到服務(wù)端未及時響應(yīng)的時候，客戶端也可以繼續(xù)發(fā)送命令請求，做到客戶端和服務(wù)端互不干涉影響，服務(wù)端并最終返回所有服務(wù)端的響應(yīng)，這在促進原有C/S模型交互的響應(yīng)速度上有了質(zhì)的提高。
以下是對 Redis管道機制的一個學(xué)習(xí)記錄
Pipeline簡介
Redis客戶端執(zhí)行一條命令：
- 發(fā)送命令
- 命令排隊
- 執(zhí)行命令
- 返回結(jié)果
其中發(fā)送命令和返回結(jié)果可以稱為 Round Trip Time (RTT,往返時間)。在Redis中提供了批量操作命令，例如mget、mset等，有效地節(jié)約了RTT。但是大部分命令是不支持批量操作的。
為此Redis提供了一個稱為管道(Pipeline) 的機制將一組Redis命令進行組裝，通過一次 RTT 傳輸給 Redis,再將這些 Redis 命令的執(zhí)行結(jié)果按順序傳遞給客戶端。即使用pipeline執(zhí)行了n次命令，整個過程就只需要一次 RTT。
對Pipeline進行性能測試
我們使用redis-benchmark 對Pipeline進行性能測試，該工具提供了 -P 的選項，此選項表示使用管道機制處理 n 條Redis請求，默認值為1。測試如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
# 不使用管道執(zhí)行g(shù)et set 100000次請求[root@iz2zeaf3cg1099kiidi06mz ~]# redis-benchmark -t get,set -q -n 100000SET: 55710.31 requests per secondGET: 54914.88 requests per second# 每次pipeline組織的命令個數(shù) 為 100[root@iz2zeaf3cg1099kiidi06mz ~]# redis-benchmark -P 100 -t get,set -q -n 100000SET: 1020408.19 requests per secondGET: 1176470.62 requests per second# 每次pipeline組織的命令個數(shù) 為 10000[root@iz2zeaf3cg1099kiidi06mz ~]# redis-benchmark -P 10000 -t get,set -q -n 100000SET: 321543.41 requests per secondGET: 241545.89 requests per second |
從上面測試可以看出，使用pipeline的情況下 Redis 每秒處理的請求數(shù)遠大于 不使用 pipeline的情況。
當(dāng)然每次pipeline組織的命令個數(shù)不能沒有節(jié)制，否則一次組裝Pipeline數(shù)據(jù)量過大，一方面會增加 客戶端等待時間，另一方面會造成一定的網(wǎng)絡(luò)阻塞。
從上面的測試中也可以看出，如果一次pipeline組織的命令個數(shù)為 10000，但是它對應(yīng)的QPS 卻小于 一次pipeline命令個數(shù)為 100的。所以每次組織 Pipeline的命令個數(shù)不是越多越好，可以將一次包含大量命令的 Pipeline 拆分為 多個較小的 Pipeline 來完成。
Pipeline關(guān)于RTT的說明
在官網(wǎng)上有一段這樣的描述:
大致意思就是 ：
Pipeline管道機制不單單是為了減少RTT的一種方式，它實際上大大提高了Redis的QPS。原因是，在沒有使用管道機制的情況下，從訪問數(shù)據(jù)結(jié)構(gòu)和產(chǎn)生回復(fù)的角度來看，為每個命令提供服務(wù)是非常便宜的。但是從底層套接字的角度來看，這是非常昂貴的，這涉及read（）和write（）系統(tǒng)調(diào)用，從用戶態(tài)切換到內(nèi)核態(tài)，這種上下文切換開銷是巨大。而使用Pipeline的情況下，通常使用單個read（）系統(tǒng)調(diào)用讀取許多命令，然后使用單個write（）系統(tǒng)調(diào)用傳遞多個回復(fù),這樣就提高了QPS
批量命令與Pipeline對比
- 批量命令是原子的，Pipeline 是非原子的
- 批量命令是一個命令多個 key,Pipeline支持多個命令
- 批量命令是 Redis服務(wù)端實現(xiàn)的，而Pipeline需要服務(wù)端和客戶端共同實現(xiàn)
使用jedis執(zhí)行 pipeline
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
|
public class JedisUtils { private static final JedisUtils jedisutils = new JedisUtils(); public static JedisUtils getInstance() { return jedisutils; } public JedisPool getPool(String ip, Integer port) { JedisPoolConfig jedisPoolConfig = new JedisPoolConfig(); jedisPoolConfig.setMaxIdle(RedisConfig.MAX_IDLE); jedisPoolConfig.setMaxTotal(RedisConfig.MAX_ACTIVE); jedisPoolConfig.setMaxWaitMillis(RedisConfig.MAX_WAIT); jedisPoolConfig.setTestOnBorrow(true); jedisPoolConfig.setTestOnReturn(true); JedisPool pool = new JedisPool(jedisPoolConfig, ip, port,RedisConfig.TIMEOUT,RedisConfig.PASSWORD); return pool; } public Jedis getJedis(String ip, Integer port) { Jedis jedis = null; int count = 0; while (jedis == null && count < RedisConfig.RETRY_NUM) { try { jedis = getInstance().getPool(ip, port).getResource(); } catch (Exception e) { System.out.println("get redis failed"); } count++; } return jedis; } public void closeJedis(Jedis jedis) { if (jedis != null) { jedis.close(); } } public static void main(String[] args) throws InterruptedException { Jedis jedis = JedisUtils.getInstance().getJedis("127.0.0.1", 6379); Pipeline pipeline = jedis.pipelined(); pipeline.set("hello", "world"); pipeline.incr("counter"); System.out.println("還沒執(zhí)行命令"); Thread.sleep(100000); System.out.println("這里才開始執(zhí)行"); pipeline.sync(); }} |
在睡眠100s的時候查看 Redis，可以看到此時在pipeline中的命令并沒有執(zhí)行，命令都被放在一個隊列中等待執(zhí)行:
|
1
2
3
4
|
127.0.0.1:6379> get hello(nil)127.0.0.1:6379> get counter(nil) |
睡眠結(jié)束后，使用 pipeline.sync()完成此次pipeline對象的調(diào)用。
|
1
2
3
4
|
127.0.0.1:6379> get hello"world"127.0.0.1:6379> get counter"1" |
必須要執(zhí)行pipeline.sync() 才能最終執(zhí)行命令，當(dāng)然可以使用 pipeline.syncANdReturnAll回調(diào)機制將pipeline響應(yīng)命令進行返回。
參考資料 & 鳴謝
- Redis開發(fā)與運維
- Using pipelining to speedup Redis queries
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，如果有疑問大家可以留言交流，謝謝大家對服務(wù)器之家的支持。
原文鏈接：https://juejin.im/post/5be01187e51d452b02557014
