Egg上层框架CabloyJS是如何输出SQL语句日志的?
作者:互联网
背景
在Egg开发实践中,经常会遇到一个问题:如何查看刚刚执行过的Egg组装的原生SQL语句呢?
1. 现有方案
可以直接在项目的config配置文件中添加MySQL配置debug: true
。这会启用底层模块mysql
的调试标志,然后输出有关SQL语句的详尽信息,效果如下:
2. 弊端
debug: true
方案有如下弊端:
输出信息过于详细,在实际开发中反而会干扰我们快速查看其他日志信息
没有输出SQL语句的执行时间
3. 理想方案
对于一个理想的SQL语句输出方案,我们其实只关心两个问题:
- Egg组装的原生SQL语句到底是怎样的?便于我们快速排查问题
- SQL语句的执行时间是多少,便于我们尽早锁定性能问题,从而得到及时解决
4. CabloyJS的方案效果
CabloyJS是基于Egg的上层开发框架,针对前面提到的两个核心问题,实现了如下效果
这种SQL语句日志的输出效果:不仅一目了然可以看到刚刚执行了多少SQL语句,而且每一条SQL语句的执行时间也是历历在目。当然,顺便我们还能看到SQL语句是由哪个连接对象执行的(通过threadId
)
实现方案
下面我们看一下CabloyJS是如何实现的。这种实现机制也适用于其他Egg系的上层框架
假设你已经创建了一个CabloyJS的项目,下面的源码均位于CabloyJS项目内
如何创建CabloyJS项目,请参见:快速开始
1. config定义
为了让方案更灵活,我们先扩展一下MySQL参数的定义
node_modules/egg-born-backend/config/config.default.js
// mysql
config.mysql = {
clients: {
__ebdb: {
// debug: true,
hook: {
meta: {
color: 'orange',
long_query_time: 0,
},
callback: {
onQuery,
},
},
},
},
};
名称 | 说明 |
---|---|
debug | 如果为true,就是启用内置的调试标志。在这里没有启用 |
hook.meta | 包含hook的配置参数 |
hook.meta.color | 日志输出的颜色 |
hook.meta.long_query_time | 如果SQL语句的执行时间超过了long_query_time (ms),就会被输出到控制台。特别的,如果long_query_time 设为0 ,则输出所有SQL语句 |
hook.callback.onQuery | 为了提升灵活性,我们可以通过onQuery 提供一个自定义的回调函数,当SQL语句的执行信息准备就绪时会被自动调用 |
2. 改写模块ali-rds
Egg执行MySQL语句的技术栈如下:模块egg
-> 模块egg-mysql
-> 模块ali-rds
-> 模块mysql
在这里,我们只需要改写模块ali-rds
即可
node_modules/@zhennann/ali-rds/lib/client.js
function RDSClient(options) {
if (!(this instanceof RDSClient)) {
return new RDSClient(options);
}
Operator.call(this);
this.pool = mysql.createPool(options);
const _hook = options.hook;
const _getConnection = this.pool.getConnection.bind(this.pool);
this.pool.getConnection = function(cb) {
_getConnection(function(err, conn) {
if (err) return cb(err, null);
onQuery(conn, function(err) {
if (err) return cb(err, null);
onConnection(conn, function(err) {
if (err) return cb(err, null);
cb(null, conn);
});
});
});
function onConnection(conn, cb) {
if (!_hook || !_hook.callback || !_hook.callback.onConnection) return cb(null);
if (conn.__hook_onConnection) return cb(null);
conn.__hook_onConnection = true;
co.wrap(_hook.callback.onConnection)(new RDSConnection(conn)).then(function() {
cb(null);
}).catch(function(err) {
cb(err);
});
}
function onQuery(conn, cb) {
if (!_hook || !_hook.callback || !_hook.callback.onQuery) return cb(null);
if (conn.__hook_onQuery) return cb(null);
conn.__hook_onQuery = true;
const _query = conn.query;
conn.query = function query(sql, values, cb) {
const prevTime = Number(new Date());
const sequence = _query.call(conn, sql, values, cb);
const _callback = sequence._callback;
sequence._callback = function(...args) {
const ms = Number(new Date()) - prevTime;
_hook.callback.onQuery(_hook, ms, sequence, args);
_callback && _callback(...args);
};
return sequence;
};
cb(null);
}
};
[
'query',
'getConnection',
].forEach(method => {
this.pool[method] = promisify(this.pool[method]);
});
}
首先,拦截
pool.getConnection
方法当系统从数据库连接池中获取到connection对象时,执行两个回调
onConnection
和onQuery
onConnection
是在第一次创建connection对象时,执行一些初始化SQL语句,比如设置一些会话级别的变量,不是这里讨论的重点onQuery
的作用就是拦截connection.query
方法,在query执行前和执行后分别记录时间,从而得到SQL语句的执行时间,然后执行config配置中指定的回调函数hook.callback.onQuery
3. 回调hook.callback.onQuery
我们再回头看一下config配置文件中的回调函数是如何实现的
node_modules/egg-born-backend/config/config.default.js
function onQuery(hook, ms, sequence, args) {
if (!hook.meta.long_query_time || hook.meta.long_query_time < ms) {
const message = `threadId: ${sequence._connection.threadId}, ${ms}ms ==> ${sequence.sql}`;
console.log(chalk.keyword(hook.meta.color)(message));
}
}
首先判断
hook.meta.long_query_time
,如果为0
或者小于执行时间,就会执行输出使用模块
chalk
,并使用指定的颜色值hook.meta.color
输出SQL执行日志
4. 模块module-alias
由于我们改写了模块ali-rds
的源代码,所以我们需要启用一个新的模块名称,在这里就是@zhennann/ali-rds
,发布到npm仓库即可
那么,如何使新模块@zhennann/ali-rds
生效呢?由于模块ali-rds
是被模块egg-mysql
所引用的。我们如果还要改写模块egg-mysql
的源码,代价就未免太大了
在这里,我们引入模块module-alias
,从而达到这样的效果:模块egg-mysql
源码不变,仍然是const rds = require('ali-rds');
,但实际上引用的却是@zhennann/ali-rds
模块
module-alias
的机理,请参见:https://github.com/ilearnio/module-alias
这里,我们只需看一下如何使用模块module-alias
node_modules/egg-born-backend/index.js
const moduleAlias = require('module-alias');
moduleAlias.addAlias('ali-rds', '@zhennann/ali-rds');
结语
这样,我们就实现了一个轻巧的方案,不仅可以直接在Egg上层框架中提供缺省的SQL语句输出方案,而且还可以通过覆盖config参数hook.callback.onQuery
提供自定义的输出方案
标签:callback,cb,hook,onQuery,SQL,query,Egg,CabloyJS 来源: https://www.cnblogs.com/zhennann/p/12153841.html