lua脚本以及redis慢查询日志
作者:互联网
lua脚本
lua是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。
Lua应用场景:
- 游戏开发
- 独立应用脚本
- Web应用脚本
- 扩展和数据库插件
- Nginx + lua开发高性能web应用,限流、防止Sql注入…
Redis使用lua脚本
版本:自2.6.0起可用,通过内置的lua编译/解释器,可以使用EVAL命令对lua脚本进行求值。
时间复杂度:取决于执行的脚本。
使用Lua脚本的好处:
- 减少网络开销。可以将多个请求通过脚本的形式一次发送,减少网络时延。
- 原子操作。redis会将整个脚本作为一个整体执行,中间不会被其他命令插入。因此在编写脚本的过程中无需担心会出现竞态条件,无需使用事务。
- 复用。客户端发送的脚本会永久存在redis中,这样,其他客户端可以复用这一脚本而不需要使用代码完成相同的逻辑。
如何使用 EVAL命令
命令格式:
EVAL script numkeys key [key ...] arg [arg ...]
命令说明:
- script :是一段 Lua 5.1 脚本程序。
- numkeys : key的个数。
- key [key …] ,是要操作的键,可以指定多个,在lua脚本中通过 KEYS[1] , KEYS[2] 获取
- arg [arg …] ,附加参数,在lua脚本中通过 ARGV[1] , ARGV[2] 获取。
示例
eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second
lua脚本中调用Redis命令
redis.call():
- 返回值就是redis命令执行的返回值
- 如果出错,则返回错误信息,不继续执行
redis.pcall():
- 返回值就是redis命令执行的返回值
- 如果出错,则记录错误信息,继续执行
注意:在脚本中,使用return语句将返回值返回给客户端,如果没有return,则返回nil。
例如:
eval "return redis.call('set',KEYS[1],ARGV[1])" 1 n1 zhaoyun
命令行里使用
如果直接使用 redis-cli 命令,格式会有点不一样:
redis-cli --eval lua_file key1 key2 , arg1 arg2 arg3
- eval 后面参数是lua脚本文件, .lua 后缀
- 不用写 numkeys ,而是使用 , 隔开。注意 , 前后有空格。
例如:
在redis根目录下有一个incrbymul.lua
脚本。
local num = redis.call('GET', KEYS[1]);
if not num then
return 0;
else
local res = num * ARGV[1];
redis.call('SET',KEYS[1], res);
return res;
end
然后通过命令行运行:
$ redis-cli --eval incrbymul.lua lua:incrbymul , 8
(integer) 0
$ redis-cli incr lua:incrbymul
(integer) 1
$ redis-cli --eval incrbymul.lua lua:incrbymul , 8
(integer) 8
$ redis-cli --eval incrbymul.lua lua:incrbymul , 8
(integer) 64
$ redis-cli --eval incrbymul.lua lua:incrbymul , 2
(integer) 128
redis没有提供命令可以实现将一个数原子性的乘以N倍,这里我们就用Lua脚本实现了,运行过程中确保不会被其它客户端打断。
慢查询日志
概述
慢查询日志有什么用?
慢查询日志是为了记录执行时间超过给定时长的redis命令请求
日常在使用redis的时候为什么要用慢查询日志?
让使用者更好地监视和找出在业务中一些慢redis操作,找到更好的优化方法
客户端请求的生命周期的完整生命周期,4个阶段
慢查询只统计步骤3的时间,所以没有慢查询并不代表客户端没有超时问题。换句话说。redis的慢查询记录时间指的是不包括像客户端响应、发送回复等IO操作,而单单是执行一个查询命令所耗费的时间。
设置和查看SLOWLOG
慢查询配置相关的参数
-
slowlog-log-slower-than
:选项指定执行时间超过多少微秒(默认1秒=1,000,000微秒)的命令请求会被记录到日志上。
例:如果这个选项的值为100,那么执行时间超过100微秒的命令就会被记录到慢查询日志; 如果这个选项的值为500 , 那么执行时间超过500微秒的命令就会被记录到慢查询日志; -
slowlog-max-len
:选项指定服务器最多保存多少条慢查询日志。服务器使用先进先出的方式保存多条慢查询日志: 当服务器储存的慢查询日志数量等于slowlog-max-len选项的值时,服务器在添加一条新的慢查询日志之前,会先将最旧的一条慢查询日志删除。
例:如果服务器slowlog-max-len的值为100,并且假设服务器已经储存了100条慢查询日志, 那么如果服务器打算添加一条新日志的话,它就必须先删除目前保存的最旧的那条日志, 然后再添加新日志。
在Redis中有两种修改配置的方法,一种是修改配置文件,另一种是使用config set命令动态修改;
1、慢查询配置相关的命令
config set slowlog-log-slower-than 20000
config set slowlog-max-len 1024
slowlog get # 查看慢查询日志
2、慢查询日志的访问和管理
slowlog get [n] # 获取[n条]慢查询队列
slowlog len # 获取慢查询队列的当前长度
slowlog reset # 清空慢查询队列
3、慢查询日志的使用案例
- 设置慢查询时长:
config set slowlog-log-slower-than 0
# 0表示将所有命令都记录为慢查询 - 设置最多保存多少条慢查询日志:
config set slowlog-max-len 3
- 获得慢查询日志:
slowlog get
4、慢查询日志的组成
慢查询日志由以下四个属性组成:
- 标识ID
- 发生时间戳,
- 命令耗时,
- 执行命令和参数
在生产环境中,慢查询功能可以有效地帮助我们找到Redis可能存在的瓶颈,但在实际使用过程中要注意以下几点:
slowlog-max-len
:线上建议调大慢查询列表,记录慢查询时Redis会对长命令做阶段操作,并不会占用大量内存.增大慢查询列表可以减缓慢查询被剔除的可能,例如线上可设置为1000以上.slowlog-log-slower-than
:默认值超过10毫秒判定为慢查询,需要根据Redis并发量调整该值.- 慢查询只记录命令的执行时间,并不包括命令排队和网络传输时间.因此客户端执行命令的时间会大于命令的实际执行时间.因为命令执行排队机制,慢查询会导致其他命令级联阻塞,因此客户端出现请求超时时,需要检查该时间点是否有对应的慢查询,从而分析是否为慢查询导致的命令级联阻塞.
- 由于慢查询日志是一个先进先出的队列,也就是说如果慢查询比较多的情况下,可能会丢失部分慢查询命令,为了防止这种情况发生,可以定期执行slowlog get命令将慢查询日志持久化到其他存储中(例如:MySQL等),然后可以通过可视化工具进行查询.
标签:命令,slowlog,redis,查询,lua,日志 来源: https://blog.csdn.net/qq_21040559/article/details/123031139