java 解決分布式環境中 高并發環境下數據插入重復問題
前言
原因：服務器同時接受到的重復請求
現象：數據重復插入 / 修改操作
解決方案 ： 分布式鎖
對請求報文生成 摘要信息 + redis 實現分布式鎖
工具類
分布式鎖的應用
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
|
package com.nursling.web.filter.context;import com.nursling.nosql.redis.redisutil;import com.nursling.sign.signtype;import com.nursling.sign.signutil;import redis.clients.jedis.jedis;import javax.servlet.servletrequest;import javax.servlet.http.httpservletrequest;import java.util.hashmap;import java.util.map;/** * 并發攔截 * 高并發下 過濾掉 相同請求的工具 * @author 楊. * */public class contextlj { private static final integer jd = 0; /** * 上鎖 使用redis 為分布式項目 加鎖 * @param sign * @param tid * @return * @throws exception */ public static boolean lock(string sign, string tid) { synchronized (jd) { // 加鎖 jedis jedis = redisutil.getjedis(); string utid = jedis.get(sign); if (utid == null) { jedis.set(sign, tid); jedis.expire(sign, 36); return true; } return false; } } /** * 鎖驗證 * @param sign * @param tid * @return */ public static boolean checklock(string sign, string tid){ jedis jedis = redisutil.getjedis(); string utid = jedis.get(sign); return tid.equals(utid); } /** * 去掉鎖 * @param sign * @param tid */ public static void clent (string sign, string tid){ if (checklock(sign, tid)) { jedis jedis = redisutil.getjedis(); jedis.del(sign); } } /** * 獲取摘要 * @param request * @return */ public static string getsign(servletrequest request){ // 此工具是將 request中的請求內容 拼裝成 key=value&key=value2 的形式 源碼在線面 map<string, string> map = signutil.getrequstmap((httpservletrequest) request); string sign = null; try { // 這里使用md5方法生成摘要 signutil.getrequstmap 方法源碼就不貼了 sign = signutil.buildrequest(map, signtype.md5); } catch (exception e) { e.printstacktrace(); } return sign; }} |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
public static map<string, string> getrequstmap(httpservletrequest req){ map<string,string> params = new hashmap<string,string>(); map<string, string[]> requestparams = req.getparametermap(); for (iterator<string> iter = requestparams.keyset().iterator(); iter.hasnext();) { string name = (string) iter.next(); string[] values = (string[]) requestparams.get(name); string valuestr = ""; for (int i = 0; i < values.length; i++) { valuestr = (i == values.length - 1) ? valuestr + values[i] : valuestr + values[i] + ","; } params.put(name, valuestr); } return params; } |
下面是過濾器代碼
對分布式鎖的利用
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
|
package com.nursling.web.filter.transaction;import com.google.gson.gson;import com.nursling.common.randomutil;import com.nursling.dao.util.transactionutils;import com.nursling.model.apiresult;import com.nursling.model.apirtncode;import com.nursling.web.filter.context.contextlj;import org.apache.log4j.logger;import javax.servlet.*;import javax.servlet.http.httpservletresponse;import java.io.ioexception;/** * 對事物進行控制 并且 避免接口 直接報漏異常信息 * 并且過濾頻繁請求 * created by yangchao on 2016/11/4. */public class transactionfilter implements filter { logger log = logger.getlogger(this.getclass()); @override public void init(filterconfig filterconfig) throws servletexception { } @override public void dofilter(servletrequest request, servletresponse myresp, filterchain chain) throws ioexception, servletexception { string sign = "sign_" + contextlj.getsign(request); // 生成摘要 string tid = randomutil.getrandomstring(3) + "_" + thread.currentthread().getid(); // 當前線程的身份 try { if (!contextlj.lock(sign, tid)) { log.warn("放棄相同 并發請求" + sign); frequentlyerror(myresp); return; } if (!contextlj.checklock(sign, tid)) { log.warn("加鎖驗證失敗 " + sign + " " + tid); frequentlyerror(myresp); return; } chain.dofilter(request, myresp); // 放行 } catch (exception e) { // 捕獲到異常 進行異常過濾 log.error("", e); retrunerrorinfo(myresp); } finally { contextlj.clent(sign, tid); } } /** * 頻繁請求 * @param myresp */ private void frequentlyerror(servletresponse myresp) throws ioexception { apiresult<object> re = new apiresult<>(); ((httpservletresponse) myresp).setheader("content-type", "text/html;charset=utf-8"); re.setmsg("稍安勿躁，不要頻繁請求"); re.setcode(apirtncode.api_verify_fail); myresp.getwriter().write(new gson().tojson(re)); } /** * 返回異常信息 * @param myresp */ private void retrunerrorinfo(servletresponse myresp) throws ioexception { apiresult<object> re = new apiresult<>(); re.setmsg("server error"); // 這里不必理會 re.setcode(apirtncode.service_error); myresp.getwriter().write(new gson().tojson(re)); } @override public void destroy() { }} |
程序本身應該還有需要完善的地方， 不過經過一段時間的測試。 這個解決方案還是比較可靠的 并發測試 + 生產環境上 也沒有再出現 重復請求的問題
非極端情況下 還是很可靠的
以上所述是小編給大家介紹的java解決分布式環境中高并發環境下數據插入重復問題詳解整合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對服務器之家網站的支持！
原文鏈接：https://blog.csdn.net/qq_22956867/article/details/72529144
