数据库
首页 > 数据库> > 企业—基于redis缓存数据库实现lnmp架构的高速访问及gearman实现redis与mysql的数据同步

企业—基于redis缓存数据库实现lnmp架构的高速访问及gearman实现redis与mysql的数据同步

作者:互联网

一.基于redis缓存数据库的lnmp架构的部署

1.数据流向

client–>app–>redis–>mysql–>redis—>client

当客户端访问数据时通过前端页面nginx取取数据,如果发现数据没在redis缓存中,然后直接去数据库中取数据,并且将数据写道redis中,然后将取得的数据通过前端界面返回给用户。

2.部署实现

1.主机环境

主机名(IP) 服务
server1(172.25.254.1) nginx,php
server2(172.25.254.2) redis
server3(172.25.254.3) mysql

2.实验环境清理

a.官网下载nginx的压缩包并进行解压
在这里插入图片描述
b.官网下载依赖软件
在这里插入图片描述
c.进入解压目录下进行编译,并且安装,且在auto/cc/gcc文件中注释掉debug日志信息

[root@server1 nginx-1.16.0]# pwd
/root/nginx-1.16.0
[root@server1 nginx-1.16.0]# ./configure --prefix=/usr/local/nginx
[root@server1 nginx-1.16.0]# make && make install

编译安装完成之后:
在这里插入图片描述
注释debug日志信息:
在这里插入图片描述
在这里插入图片描述
d.nginx配置文件中打开php的配置
在这里插入图片描述
文件编辑内容如下:
在这里插入图片描述
在location资源中添加php的默认识别页面:
在这里插入图片描述
e.坚持nginx配置文件并且开启nginx
在这里插入图片描述
f.添加测试页在其默认发布目录
测试页index.php的内容如下:

<?php
        $redis = new Redis();
        $redis->connect('127.0.0.1',6379) or die ("could net connect redis server");
  #      $query = "select * from test limit 9";
        $query = "select * from test";
        for ($key = 1; $key < 10; $key++)
        {
                if (!$redis->get($key))
                {
                        $connect = mysql_connect('127.0.0.1','redis','westos');
                        mysql_select_db(test);
                        $result = mysql_query($query);
                        //如果没有找到$key,就将该查询sql的结果缓存到redis
                        while ($row = mysql_fetch_assoc($result))
                        {
                                $redis->set($row['id'],$row['name']);
                        }
                        $myserver = 'mysql';
                        break;
                }
                else
                {
                        $myserver = "redis";
                        $data[$key] = $redis->get($key);
                }
        }

        echo $myserver;
echo "<br>";
        for ($key = 1; $key < 10; $key++)
        {
                echo "number is <b><font color=#FF0000>$key</font></b>";

                echo "<br>";

                echo "name is <b><font color=#FF0000>$data[$key]</font></b>";

                echo "<br>";
        }
?>

在这里插入图片描述
测试文件中修改连接的redis及数据库的相应信息内容如下:
在这里插入图片描述

a.官网下载php安装包及其依赖包并且安装
在这里插入图片描述
因为在后续实验中需要解决redis与mysql的数据同步更新问题,所以将gearman及其相关依赖包一并安装。

b.开启php-fpm服务并且查看端口
在这里插入图片描述

由于之前实验已经部署好了redis,这里直接打开redis即可
在这里插入图片描述
在这里插入图片描述
注:如果之前做了redis的主从复制的部署,建议将redis的配置文件中的slaveof添加的内容注释掉
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如果在redis中添加了数据将数据删掉,方便后续的实验效果:
在这里插入图片描述

a.如果安装了mysql卸载,并且删除数据库上缓存的数据
在这里插入图片描述
在这里插入图片描述

b.安装mariadb
在这里插入图片描述
c.开启数据库并且进行数据库的初始化
在这里插入图片描述
在这里插入图片描述
d.创建测试库并且对其该建立的数据库进行redis授权
在这里插入图片描述
e.导入测试数据库
测试文件test.sql内容如下:

use test;
CREATE TABLE `test` (`id` int(7) NOT NULL AUTO_INCREMENT, `name` char(8) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
INSERT INTO `test` VALUES (1,'test1'),(2,'test2'),(3,'test3'),(4,'test4'),(5,'test5'),(6,'test6'),(7,'test7'),(8,'test8'),(9,'test9');

#DELIMITER $$
#CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN
#    SET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`));
#  END$$
#DELIMITER ;

在这里插入图片描述
查看:
在这里插入图片描述

思考问题:

二.gearman实现数据库和redis的数据同步更新

1.gearman介绍

gearman,从名字上看叫做“齿轮工”,就是通过齿轮把不同的组件组合在一起。
通常,多语言多系统之间的集成是项目开发中一个比较头疼的问题。一般会采用RPC风格或者是REST风格的WebService。但是总感觉比较麻烦。
gearman就应运而生了,作为一个任务分发架构,
它能够轻松的将前端的任务通过Job Server分发给后端的Worker处理

Gearman提供了一种通用的程序框架来将你的任务分发到不同的机器或者不同的进程当中。
它提供了你进行并行工作的能力、负载均衡处理的能力,以及在不同程序语言之间沟通的能力。
Gearman能够应用的领域非常广泛,从高可用的网站到数据库的复制任务。
总之,Gearman就是负责分发处理的中枢系统,它的优点包括:

  • 开源:Gearman免费并且开源而且有一个非常活跃的开源社区
  • 多语言支持:Gearman支持的语言种类非常丰富。
  • 灵活:不必拘泥于固定的形式。您可以采用你希望的任何形式
  • 快速:Gearman的协议非常简单,并且有一个用C语言实现的,经过优化的服务器,
    保证应用的负载在非常低的水平。

2.gearman的工作原理

Gearman 提供了 Client 和 Worker 的 API,利用这些API 应用可以同 Gearman Job Server来进行通信。
Gearman 内部 Client 和 Worker 之间的通信都是通过 TCP 连接来进行的。
Gearman是一个支持分布式的任务分发框架。设计简洁,获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分:
在这里插入图片描述

类似的后台任务处理项目Resque。两者的设计其实非常接近,简单可以类比为:

这里之所以选择Gearman而不是Resque是因为Gearman提供了比较好用的MySQL UDF,工作量更小。

gearman的部署:

【server1(nginx)】端:
在server1上开启gearnman服务因为之前已经下载了gearman
在这里插入图片描述
【mysql端(server3)】:

1.配置mysqludf_json工具,源码编译

lib_mysqludf_json 把mysql关系型数据转换成json格式的UDF工具

[root@server3 ~]# ls
lib_mysqludf_json-master.zip(相关压缩包)  redis-5.0.3  redis-5.0.3.tar.gz  test.sql
[root@server3 ~]# yum install unzip -y
[root@server3 ~]# unzip lib_mysqludf_json-master.zip 
[root@server3 ~]# yum install gcc mariadb-devel -y  //安装编译依赖软件
[root@server3 ~]# cd lib_mysqludf_json-master
[root@server3 lib_mysqludf_json-master]# ls
lib_mysqludf_json.c     lib_mysqludf_json.so   README.md
lib_mysqludf_json.html  lib_mysqludf_json.sql
//编译mysqludf的插件模块及其.c模块
[root@server3 lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c 
//将mysqludf插件模块cp到mysql的插件目录下
[root@server3 lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/

登录mysql查看mysqludf的插件:
在这里插入图片描述
3.注册mysql的udf函数并且查看函数
在这里插入图片描述
3.安装gearman软件
在这里插入图片描述
4.编译安装mysql的mysqludf的json扩展
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5.创建gearmna的udf函数
在这里插入图片描述
在这里插入图片描述
6.设置mysql端的gearman的nginx的前端服务器
在这里插入图片描述
7.编辑mysql端的测试文件打开相应的触发器模块,并且重新导入数据

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
8.登录数据库查看触发器
在这里插入图片描述
【server1(nginx)端gearman的worker的添加
1.编写worker.php
文件内容如下:

<?php
$worker = new GearmanWorker();
$worker->addServer();
$worker->addFunction('syncToRedis', 'syncToRedis');

$redis = new Redis();
$redis->connect('127.0.0.1', 6379);

while($worker->work());
function syncToRedis($job)
{
        global $redis;
        $workString = $job->workload();
        $work = json_decode($workString);
        if(!isset($work->id)){
                return false;
        }
        $redis->set($work->id, $work->name);
}
?>

在这里插入图片描述
2.后台运行worker
在这里插入图片描述
在这里插入图片描述

1.在mysql上更新数据
在这里插入图片描述
2.在rdis上查看数据已经同步
在这里插入图片描述
3.浏览器页面刷新发现数据同步
在这里插入图片描述

标签:nginx,gearman,mysqludf,redis,lnmp,Gearman,json,mysql
来源: https://blog.csdn.net/weixin_44224288/article/details/90179825