redis-使用-pipeline大批量提交提高性格
作者:互联网
pipeline
传统我们redis 发送10万个请求,requset-response 请求响应,改成了客户端请求给服务端,不等待详情,最后统一获取响应结果
我们线上有一块儿代码 要10多秒 才能响应,后面发现大批量redis查询 改为管道就变成1秒内
性能对比测试
public static void main(String[] args) throws Exception { Jedis conn = new Jedis("127.0.0.1", 6379); testMulti(conn); testPipeline(conn); test(conn); } public static void testMulti( Jedis conn){ conn.del("testMulti"); Long start=System.currentTimeMillis(); Transaction t= conn.multi(); for(int i=0;i<100000;i++){ t.sadd("testMulti",String.valueOf(i)); } t.exec(); Long end=System.currentTimeMillis(); System.out.println("testMulti耗时"+(end-start)+"毫秒"); } public static void testPipeline( Jedis conn){ conn.del("testPipeline"); Long start=System.currentTimeMillis(); Pipeline pipeline=conn.pipelined(); for(int i=0;i<100000;i++){ pipeline.sadd("testPipeline",String.valueOf(i)); } pipeline.syncAndReturnAll(); Long end=System.currentTimeMillis(); System.out.println("testPipeline耗时"+(end-start)+"毫秒"); } public static void test( Jedis conn){ conn.del("test"); Long start=System.currentTimeMillis(); for(int i=0;i<100000;i++){ conn.sadd("test",String.valueOf(i)); } Long end=System.currentTimeMillis(); System.out.println("test耗时"+(end-start)+"毫秒"); }
输出
testMulti耗时380毫秒 testPipeline耗时360毫秒 test耗时4655毫秒
如果改为100万次 multi拿结果的时候会超时
疑惑
网上说是一直发非事物处理,但是并不等待结果,按理说,发送后 get应该是修改的值,但是我测试没有调用syncAndReturnAll redis并没有修改
Jedis conn = new Jedis("127.0.0.1", 6379); Pipeline pipeline= conn.pipelined(); pipeline.set("test5","6"); Thread.sleep(10000);//这个时候另外一个线程去读取 test5是null pipeline.syncAndReturnAll();//这一句执行完后 get test5获取到6
注意事项
多个大批量 尽量分批提交(如10万 1万一批的提交),避免超时
标签:pipeline,test5,大批量,redis,testMulti,Jedis,conn 来源: https://www.cnblogs.com/LQBlog/p/13322274.html