源码网,源码论坛,源码之家,商业源码,游戏源码下载,discuz插件,棋牌源码下载,精品源码论坛

 找回密码
 立即注册
查看: 129|回复: 14

[JavaScript] node上的redis调用优化示例详解

[复制链接]

7万

主题

861

回帖

32万

积分

论坛元老

Rank: 8Rank: 8

积分
329525
发表于 2018-10-30 14:34:09 | 显示全部楼层 |阅读模式
这篇文章主要给大家介绍了关于node上redis调用优化的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

前言

如果一个 Node 应用有多台服务器或多个进程在跑,每个进程都拥有自己的内存空间,各个进程之间的数据共享就显得非常重要。

使用数据库是一个解决数据共享的方案,但一些临时性、高并发的数据并不太适合直接写入数据库,比如 session。

引入 Redis 可以解决数据共享的问题,也因为 Redis 是基于内存存储的特点,有着非常高的性能,可以大大降低数据库读写的压力,提升应用的整体性能。

Redis 还可以用来:缓存复杂的数据库查询结果,做自增长统计,暂存用户操作状态等功能。

最近负责的node项目在高并发的情况下性能表现非常的差,rt基本会在7 80ms甚至100ms以上,由于对外提供了dubbo接口,所以经常导致上游应用和自己的dubbo线程池耗尽,所以花了一点时间排查了一番,才发现原来自己的node功力还有很长的路要走啊~之后node的文章可能会越来越多~

最蠢的方式

先来看看我最早是怎么用的呢:

for(let i = 0; i < params.length; i++) {
 redisKey = getKey(params.id);
 let value = await redis.exec('get', redisKey);
}

这就是我最原始的调用方法,就是在for循环里不断的去await结果的请求,这样的结果就是每一个请求都需要等待上一个请求完成再去执行,只要在高流量的时候有一部分请求rt很高,就会引起雪崩的反应。

使用Promise.all优化请求

经过了一阵谷歌之后,我发现可以通过Promise.all的形式来进行请求链路的优化:

for(let i = 0; i < params.length; i++) {
redisKey = getKey(params.id);
 arr.push(redis.exec('get', redisKey))
}
await Promise.all(arr);

上面的第一种方式被我司的node大神严重吐槽了10分钟,然后告诉我,使用Promise.all的方式可以很有效的优化这种连续的网络请求,我赶紧将代码改完并上线。

自信满满的上线之后,迎来的确实现实无情的打击,在高流量的时刻,报警依然不断,我一边和领导说“没事,我再看看”,心里一边想着辞职报告该怎么写。

redis的正确使用姿势

在继续经过了一系列的谷歌之后,我才发现原来的是对redis的理解太浅了,针对于业务上的需求,我不假思索的只知道使用最简单的set和get,而redis对于set和get这样的命令是一条命令一个tcp请求,在业务场景上确实不太合理,于是我使用谷歌告诉我的pipeline机制去改造现有的get请求:

let batch = await RedisClient.getClient().batch();
for(let i = 0; i < params.length; i++) {
 batch.get(redisKey);
}
batch.exec();

对于pipeline机制大家可以看这篇文章。在使用pipeline之后,便秘一下就通畅了,再也没有报警过,终于可以不用辞职了。

再后面的日子里,我觉得认真的研究一下redis这个东西,保证让上面的问题不再发生,于是我发现其实还是有一种更加简单的方案的,那就是使用mget:

for(let i = 0; i < params.length; i++) {
 redisKey = getKey(params.id);
 arr.push(redisKey);
}
let value = await redis.exec('mget', arr);

使用mget进行批量的查询,这是redis里比较常见的一种方式了~

总结一下

在对以上四种方式进行了对比之后得出了数据上的结论:

在一个200次的循环中调用redis请求,第一种最蠢的方案大概是8000ms左右,第二种Promise.all的方案大概在2000ms左右,而第三和第四种方案,大概只需要几十ms就能完成,这真的是质的飞跃啊。

这个线上血淋淋的案例让我决定真的要好好的研究一下redis,不能再轻视它导致犯错。

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

回复

使用道具 举报

3

主题

2万

回帖

294

积分

中级会员

Rank: 3Rank: 3

积分
294
发表于 2022-9-8 22:07:54 | 显示全部楼层
还不错啊
回复 支持 反对

使用道具 举报

0

主题

1万

回帖

0

积分

中级会员

Rank: 3Rank: 3

积分
0
发表于 2023-7-5 19:54:55 | 显示全部楼层
哦哦哦ijhhsdj
回复 支持 反对

使用道具 举报

3

主题

2万

回帖

163

积分

注册会员

Rank: 2

积分
163
发表于 2023-11-25 12:02:06 | 显示全部楼层
哟哟哟哟哟以偶
TS人妖演出表演服务q3268336102电话13168842816
回复 支持 反对

使用道具 举报

13

主题

2万

回帖

97

积分

注册会员

Rank: 2

积分
97
发表于 2023-12-7 04:53:01 | 显示全部楼层
数据库了多久撒快乐的健身卡啦
回复 支持 反对

使用道具 举报

14

主题

1万

回帖

75

积分

注册会员

Rank: 2

积分
75
发表于 2024-6-9 23:28:26 | 显示全部楼层
来看看!!!
回复 支持 反对

使用道具 举报

0

主题

1万

回帖

0

积分

中级会员

Rank: 3Rank: 3

积分
0
发表于 2024-8-9 02:22:33 | 显示全部楼层
哦哦哦哦哦哦哦哦哦
回复 支持 反对

使用道具 举报

2

主题

2万

回帖

380

积分

中级会员

Rank: 3Rank: 3

积分
380
发表于 2024-8-26 01:14:32 | 显示全部楼层
66666666666666666666
回复 支持 反对

使用道具 举报

2

主题

2万

回帖

73

积分

注册会员

Rank: 2

积分
73
发表于 2024-8-29 22:56:57 | 显示全部楼层
我要金豆金豆金豆
回复 支持 反对

使用道具 举报

1

主题

2万

回帖

155

积分

注册会员

Rank: 2

积分
155
发表于 2024-9-14 05:14:29 | 显示全部楼层
哈哈哈哈哈哈哈
回复 支持 反对

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies

本版积分规则

手机版|小黑屋|网站地图|源码论坛 ( 海外版 )

GMT+8, 2024-11-24 13:35 , Processed in 0.093758 second(s), 24 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表