Linux运维技术之Redis的其他应用
作者：互联网
安全性
设定客户端连接后进行任何其他指定前需要使用的密码
注意！因为redis速度非常快，所以在一台比较好的服务器下，一个外部的用户可以在一秒钟进行15万次的密码尝试。
这意味着你需要指定非常强大的密码来防止暴力破解
1、在配置文件中修改requirepass这个选项，后面指定需要设置的密码即可。
2、使用pkill 关闭服务，然后再启动，登录到redis客户端中
3、使用命令auth 输入密码：auth 密码
4、另一种方式，启动服务时进行授权：redis-server 配置文件 -a 密码
主从复制
redis主从复制配置和使用都非常简单，通过主从复制可以允许多个slave server 拥有和master server先沟通的数据库副本。
特点：
1、master 可以拥有多个slave
2、多个slave可以连接同一个master外，还可以连接到其他的slave
3、主从复制不会阻塞master，在同步数据时，master可以继续处理client的请求
4、提高系统的伸缩性
Redis主从复制的过程
1、slave与master建立连接，发送sync请求
2、master会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存。
3、后台完成保存后，就将此文件发送给slave
4、slave将此文件保存在硬盘上
配置slave服务器
在此之前配置好bind及其端口号，两个redis数据库在一台服务器上时，端口号不能相同。
只需要在slave的配置文件中加入以下配置
slaveof IP地址 端口号 //指定master的IP地址及其端口号
masterauth 密码 //master主机的密码
配置完成，启动redis服务器时，Redis master服务器可以使用info查看slave服务器状态。
事务处理
Redis对事务的支持目前还比较简答。
Redis只能保证一个客户端发起的事务中的命令可以连续的执行，俄日中间不会插入其他客户端的命令。
当一个客户端在一个连接中发出multi命令时，这个链接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放在队列中，当执行exec命令时，redis会顺序的执行队列中的所有命令
取消一个事务使用discard命令。---->达到一个事务回滚！
注意：当整个队列中的其中一条命令执行失败，整个事务不会回滚，与mysql正好相反。
例子：
192.168.2.129:6379> multi //进入事务
OK
192.168.2.129:6379> set age 11 //执行一条命令，这条命令会放到队列中，先不执行。
QUEUED
192.168.2.129:6379> set ass 456 //再执行一条命令，这条命令也放到事务队列中，也不会执行。
QUEUED //确认被放在队列中
192.168.2.129:6379>discard //若执行这条命令等于取消事务队列中的所有正等待执行的命令。
192.168.2.129:6379> exec //若执行这条命令，等于让等待在队列中的所有命令按顺序执行
1) OK
2) OK
持久化机制
支持持久化的内存数据库，也就是说redis需要经常将内存中的数据同步到硬盘来保证持久化。
Redis支持两种持久化方式：
snapshotting(快照)，也是默认方式，将数据存到一个地方
Append-only file (缩写aof)的方式，将redis中的读、写、执行操作存到一个文件中
snapshotting(快照)
默认的持久化方式，这种方式将内存中的数据以快照的方式写入到二进制文件中，默认文件名为dump.rdb。
可以通过配置自动做快照持久化的方式。
我们可以配置redis在N秒内如果超出m个键别修改就自动做快照。
缺点：由于快照方式是在一定间隔时间做一次的，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改。
配置文件：
save 9000 1 //900秒内如果超过1个键被修改，则发起快照保存
aof方式
优点：比起快照来有更好的持久性。
Redis会将每一个收到的写命令通过write函数追加到文件中。
当Redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。
当然，由于os会在内核中缓存write做的修改，所以可能不是立即写到磁盘上，这样aof方式的持久化也还是有可能会丢失部分修改。
可以通过配置文件告诉redis我们想要通过fsync函数强制os写入到磁盘的时机。
设置配置文件：
appendonly no //启用aof持久化方式(yes)
# appendfsync always //收到写命令就立即写入到磁盘，最慢，但保证是完整的。
appendfsync everysec //每秒钟写入磁盘一次，在性能和持久化方面做了很好的折中。
# appendfsync no //完全依赖os，性能最好，持久化没保证。
重启redis-server，然后登录客户端，随便输入几条写命令。
退出到二进制文件夹下面有一个文件appendonly.aof，所有的写操作命令都保存在这个文件中！
还有，可以在客户端使用命令info查看同步的状态！
发布订阅信息
发布订阅(pub/sub)是一种消息通信模式。主要目的是接触信息发布者和消息订阅者之间的耦合。
Redis作为一个pub/sub的server，在订阅者和发布者之间起到了消息路由的功能。
订阅者可以通过subscribe和psubscribe命令向redis server订阅自己感兴趣的消息类型，redis将信息类型成为通道（channel）
当发布者通过publish命令向redis server发送特定类型的信息时，订阅该信息类型的全部client都会收到此信息。
例子：
打开三台客户端，
第一台使用subscribe 监听的频道(随便写一个)
第二台使用subscribe 监听的频道 坚挺的频道
第三台使用命令publish 来发布信息，格式：publish 频道名(可以有多个) 发送的内容，返回的信息可以告诉你这个频道监听了几个人。
虚拟内存使用
注意：虚拟内存这个功能在2.4版本之后就取消掉了
Redis的虚拟内存与操作系统的虚拟内存不是一回事，但是思路和目的都是相同的。
就是暂时把不经常访问的数据从内存交换到磁盘中，从而腾出宝贵的内存空间用于其他需要访问的数据。
尤其是对于redis这样的内存数据库，内存总是不够用的，除了可以讲数据分割到多个redis server 外，
另外能够提高数据库容量的办法就是使用虚拟内存把那些不经常访问的数据交换到磁盘上。
配置文件中的相关配置：
vm-enable yes //开启虚拟内存功能
vm-swap-file /tmp/redis.swap //交换出来的值保存的文件路径
vm-max-memory 100000 //redis使用的最大内存上线
vm-page-size 32 //每个页面的大小32字节
vm-pages 13417728 //最多使用多少页面
vm-max-threads 4 //用于执行值对象的工作线程数量
Redis连接PHP
下载地址：https://github.com/phpredis/phpredis
phpredis模块：提供一个API接口对redis数据库，是php的扩展功能，效率是相当高，有链表排序功能，对创建内存及的模块业务关系很有用。
操作步骤：
1、解压源代码，
2、准备编译环境：/usr/local/php/bin/phpize
若这个步骤出错，解决办法：
# cd /usr/src
# wget http://ftp.gnu.org/gnu/m4/m4-1.4.9.tar.gz
# tar -zvxf m4-1.4.9.tar.gz
# cd m4-1.4.9/
# ./configure && make && make install
# cd ../
# wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.62.tar.gz
# tar -zvxf autoconf-2.62.tar.gz
# cd autoconf-2.62/
# ./configure && make && make install
更简单的办法
# yum install m4
# yum install autoconf
3、进行编译：./config --with-php-config=/usr/local/php/bin/php-config
然后：make && make install
检验：查看编译后生成的这个目录中有没有redis模块：/usr/local/php/lib/php/extensions/no-debug-zts-20121212/
4、配置php主配置文件：添加一行 extension="redis.so"
5、重启apache和php服务，查看php页面有没有redis模块信息。
6、编辑网页文件：
<?php
$redis = new Redis(); //实例化
$redis->connect('192.168.2.143', 6379); //连接服务器
$redis->auth("beijing"); //授权
$redis->set("name","sdda"); //添加键与值
$data = $redis->keys("*"); //显示所有的键
var_dump($data); //相关操作
？>
redis+mysql(redis作为mysql的缓存服务器)
配置redis作为mysql的缓存服务器
1、在LNMP/LAMP基础上进行操作，mysql安装完成之后还要给他授权，重新修改root密码
2、安装redis，并且在后台启动，
3、在php服务器上安装php的redis扩展包
4、在mysql数据库中创建一个库，并且插入数据
内容：create database mytest;
CREATE TABLE `test` (`id` int(7) NOT NULL AUTO_INCREMENT, `name` char(8) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;
INSERT INTO `test` VALUES (1,'sven'),(2,'jim'),(3,'zhu'),(4,'wang'),(5,'ftd'),(6,'test'),(7,'test01'),(8,'test02'),(9,'test03');
select * from mytest.test;
5、在php服务器编写php网页文件
<?php
$redis = new Redis();
$redis->connect('127.0.0.1',6379) or die ("could net connect redis server");
$query = "select * from test limit 8";
//为了简单一点，这里就读取了8条数据
for ($key = 1; $key < 9; $key++)
{
if (!$redis->get($key))
{
$connect = mysql_connect('127.0.0.1','root','123456');
mysql_select_db(mytest);
$result = mysql_query($query);
//如果没有找到$key,就将该查询sql的结果缓存到redis
while ($row = mysql_fetch_assoc($result))
{
$redis->set($row['id'],$row['name']);
}
$myserver = 'mysql';
break;
}
else
{
$myserver = "redis";
$data[$key] = $redis->get($key);
}
}
echo $myserver;
echo "<br>";
for ($key = 1; $key < 9; $key++)
{
echo "number is <b><font color=#FF0000>$key</font></b>";
echo "<br>";
echo "name is <b><font color=#FF0000>$data[$key]</font></b>";
echo "<br>";
}
?>
6、访问网页，第一次访问，redis中没有对应的KEY，第二次redis将得到数据
到这里，我们已经实现了redis作为mysql的缓存服务器，但是如果更新了mysql，redis中仍然会有对应的KEY，数据就不会更新，此时就会出现mysql和redis数据不一致的情况。所以接下来就要通过mysql触发器将改变的数据同步到redis中。
通过gearman实现同步
1、介绍
Gearman是一个支持分布式的任务分发框架：
Gearman Job Server：Gearman核心程序，需要编译安装并以守护进程形式运行在后台。
Gearman Client：可以理解为任务的请求者。
Gearman Worker：任务的真正执行者，一般需要自己编写具体逻辑并通过守护进程方式运行，Gearman Worker接收到Gearman Client传递的任务内容后，会按顺序处理。
大致流程：
下面要编写的mysql触发器，就相当于 Gearman的客户端。修改表,插入表就相当于直接下发任务。然后通过lib_mysqludf_json UDF库函数将关系数据映射为JSON格式，然后在通过gearman-mysql-udf插件将任务加入到Gearman的任务队列中，最后通过 redis_worker.php，也就是Gearman的worker端来完成redis数据库的更新。
2安装启动(需要安装epel源)
yum -y install gearmand libgearman-devel
/etc/init.d/gearmand start
正在启动 gearmand： [确定]
/etc/init.d/gearmand status
gearmand (pid 7702) 正在运行..
3、安装php的gearman扩展（安装epel源）
yum install libgearman-devel libgearman
[iyunv@redis ~]# wget -c -t 0 https://pecl.php.net/get/gearman-1.1.1.tgz
[iyunv@redis ~]# tar xvf gearman-1.1.1.tgz
[iyunv@redis ~]# cd gearman-1.1.1
[iyunv@redis gearman-1.1.1]# phpize
[iyunv@redis gearman-1.1.1]# ./configure --with-php-config=/usr/bin/php-config
[iyunv@redis gearman-1.1.1]# make
[iyunv@redis gearman-1.1.1]# make install
#如果php的配置文件中没有extension = gearman.so，就加上此行
[iyunv@redis ~]# vim /etc/php.ini
extension = gearman.so
[iyunv@redis ~]# /etc/init.d/php-fpm restart
停止 php-fpm： [确定]
正在启动 php-fpm：
安装成功！！！
4、安装lib_mysqludf_json
lib_mysqludf_json UDF库函数将关系数据映射为JSON格式。通常，数据库中的数据映射为JSON格式，是通过程序来转换的。
lib_mysqludf_json UDF库函数将关系数据映射为JSON格式。通常，数据库中的数据映射为JSON格式，是通过程序来转换的。
[iyunv@redis ~]# wget -c -t 0 https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip
[iyunv@redis ~]# unzip master.zip
[iyunv@redis ~]# cd lib_mysqludf_json-master/
[iyunv@redis lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
lib_mysqludf_json.c:40:23: 错误：my_global.h：没有那个文件或目录
lib_mysqludf_json.c:41:20: 错误：my_sys.h：没有那个文件或目录
lib_mysqludf_json.c:43:19: 错误：mysql.h：没有那个文件或目录
lib_mysqludf_json.c:44:21: 错误：m_ctype.h：没有那个文件或目录
lib_mysqludf_json.c:45:22: 错误：m_string.h：没有那个文件或目录
#这里编译报错是因为没有安装mysql的开发包，如果是源码安装的mysql，需要在/etc/ld.so.conf.d/
#目录下新建一个文件告诉系统mysql的头文件在哪里
[iyunv@redis lib_mysqludf_json-master]# yum -y install mysql-devel
[iyunv@redis lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
mysql> show global variables like 'plugin_dir';
+---------------+-------------------------+
| Variable_name | Value |
+---------------+-------------------------+
| plugin_dir | /usr/lib64/mysql/plugin |
+---------------+-------------------------+
#将模块拷贝到插件目录下
[iyunv@redis lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/
#注册UDF函数
mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';
5、安装gearman-mysql-udf
这个插件是用来管理调用 Gearman 的分布式的队列。
[iyunv@redis ~]# wget -c -t 0 https://launchpad.net/gearman-my ... ysql-udf-0.6.tar.gz
[iyunv@redis ~]# tar xvf gearman-mysql-udf-0.6.tar.gz
[iyunv@redis ~]# cd gearman-mysql-udf-0.6
[iyunv@redis gearman-mysql-udf-0.6]# ./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/local/mysql/lib/plugin/
[iyunv@redis gearman-mysql-udf-0.6]# make
[iyunv@redis gearman-mysql-udf-0.6]# make install
#注册UDF函数
mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';
mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';
#查看函数
mysql> select * from mysql.func;
+--------------------+-----+-------------------------+----------+
| name | ret | dl | type |
+--------------------+-----+-------------------------+----------+
| json_object | 0 | lib_mysqludf_json.so | function |
| gman_do_background | 0 | libgearman_mysql_udf.so | function |
| gman_servers_set | 0 | libgearman_mysql_udf.so | function |
+--------------------+-----+-------------------------+----------+
#指定gearman的服务信息
mysql> SELECT gman_servers_set('redis服务器IP地址:4730');
6、编写mysql触发器(根据实际情况编写,在数据库中编写)
DELIMITER $$ CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN ET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`)); END $$ DELIMITER ;
7、编写gearman的worker端
标签：lib,运维,Redis,Linux,redis,json,mysqludf,mysql,php 来源： https://blog.csdn.net/weixin_43976122/article/details/98943798