Linux源码安装RabbitMQ高可用集群
作者:互联网
1.环境说明
- linux版本:CentOS Linux release 7.9.2009
- erlang版本:erlang-24.0
- rabbitmq版本:rabbitmq_server-3.9.13
2.源码安装erlang、RabbitMQ
Rabbitmq采用erlang语言开发,所以在安装rabbitmq之前,需要安装erlang。
2.1 下载erlang、RabbitMQ源码包
erlang官网下载地址:http://www.erlang.org/download 选择opt_src_版本号.tar.gz(这里我选择的是 otp_src_24.0.tar.gz)
或者在linux服务器上使用 wget http://www.erlang.org/download/otp_src_24.0.tar.gz 进行下载
RabbitMq官网下载地址:https://www.rabbitmq.com/download.html
2.2 安装erlang
1. 安装相关依赖
yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel gtk2-devel binutils-devel unixODBC unixODBC-devel xz
2. 上传并解压erlang安装包
#上传otp_src_24.0.tar.gz rabbitmq-server-generic-unix-3.9.13.tar.xz 到指定路径(这里我上传到/lee) #解压安装包 [root@lee lee]# tar -zxvf otp_src_24.0.tar.gz [root@lee lee]# ll total 111200 drwxr-xr-x 12 2004 wheel 4096 May 12 2021 otp_src_24.0 -rw-r--r-- 1 root root 101193664 Mar 21 09:45 otp_src_24.0.tar.gz -rw-r--r-- 1 root root 12660820 Mar 21 09:45 rabbitmq-server-generic-unix-3.9.13.tar.xz
3. 编译安装erlang
#创建erlang安装目录 [root@lee lee]# mkdir -p /lee/erlang #进入otp_src_24.0目录 [root@lee lee]# cd otp_src_24.0 [root@lee otp_src_24.0]# ./configure prefix=/lee/erlang [root@lee otp_src_24.0]# make && make install #安装完成后安装路径下的目录如下 [root@lee otp_src_24.0]# cd ../erlang/ [root@lee erlang]# ll total 8 drwxr-xr-x 2 root root 4096 Mar 21 11:03 bin drwxr-xr-x 3 root root 4096 Mar 21 11:02 lib
在执行 ./configure prefix=/lee/erlang 时出现如下问题可不用处理,这样编译完成
4. 配置环境变量并验证erlang是否安装成功
# 将erlang安装路径/bin 添加到 /ect/profile 末尾 [root@lee erlang]# vi /etc/profile [root@lee erlang]# source /etc/profile # 验证是否安装成功,执行erl 结果如下表示正常 [root@lee erlang]# erl Erlang/OTP 24 [erts-12.0] [source] [64-bit] [smp:2:2] [ds:2:2:10] [async-threads:1] Eshell V12.0 (abort with ^G) 1> # 执行 halt(). 退出控制台 1> halt(). [root@lee erlang]#
2.3. 安装RabbitMQ
安装RabbitMQ前需要确认erlang安装成功
# 解压 rabbitmq-server-generic-unix-3.9.13.tar.xz [root@lee lee]# xz -d rabbitmq-server-generic-unix-3.9.13.tar.xz [root@lee lee]# tar -xvf rabbitmq-server-generic-unix-3.9.13.tar [root@lee lee]# mv rabbitmq_server-3.9.13/ rabbitmq # 配置 RabbitMQ 环境变量 # 将 export PATH=$PATH:/lee/rabbitmq/bin:/lee/rabbitmq/sbin 添加到 /etc/profile 末尾 [root@lee lee]# vi /etc/profile [root@lee lee]# source /etc/profile # 后台启动 RabbitMQ [root@lee lee]# rabbitmq-server -detached # 查看端口 5672 存在表示启动成功 [root@lee lee]# ss -tnlp|grep 5672 LISTEN 0 128 *:25672 *:* users:(("beam.smp",pid=8418,fd=17)) LISTEN 0 128 [::]:5672 [::]:* users:(("beam.smp",pid=8418,fd=32)) # 添加rabbitmq浏览器管理插件 [root@lee lee]# rabbitmq-plugins enable rabbitmq_management # RabbitMQ有默认用户名密码 guest/guest,该用户名密码只能在本地登陆 # 如若在浏览器中登陆,须新创建用户名密码 # 添加用户名密码 [root@lee lee]# rabbitmqctl add_user rabbitmq_user rabbitmq_pwd # 检查用户列表 [root@lee lee]# rabbitmqctl list_users Listing users ... user tags guest [administrator] rabbitmq_user [] # 为 rabbitmq_user 用户添加administrator角色 [root@lee lee]# rabbitmqctl set_user_tags rabbitmq_user administrator Setting tags for user "rabbitmq_user" to [administrator] ... # 设置 rabbitmq_user 用户权限,允许访问vhost及read/write [root@lee lee]# rabbitmqctl set_permissions -p / rabbitmq_user ".*" ".*" ".*" Setting permissions for user "rabbitmq_user" in vhost "/" ... # 检查权限列表 [root@lee lee]# rabbitmqctl list_permissions -p / Listing permissions for vhost "/" ... user configure write read guest .* .* .* rabbitmq_user .* .* .* # 启动消息队列服务 [root@lee lee]# rabbitmqctl start_app Starting node rabbit@lee ... # 验证15672端口存在表示消息队列服务启动成功 [root@lee lee]# ss -tnlp | grep 15672<br>LISTEN 0 128 *:15672 *:* users:(("beam.smp",pid=8418,fd=35))
2.4 浏览器登陆RabbitMQ管理界面
在浏览器中访问 ip:15672 登陆管理页面,若重新安装 RabbitMQ 后,该界面底部出现 ReferenceError: disable_stats is not defined,ctrl+f5清除页面缓存后重新登陆
查看服务状态,若为绿色表示正常
3. 搭建RabbitMQ高可用集群
搭建集群前,需要在各个节点上安装好RabbitMQ,安装方法见 2.源码安装erlang、RabbitMQ,本文使用镜像模式搭建集群,HaProxy作为负载均衡,使用keepalived实现高可用。
3.1 镜像队列集群
RabbitMQ集群可以使得在RabbitMQ节点宕机时,消费者和生产者可以继续运行;并且可以承载更多的业务量增加系统吞吐量。
普通模式集群下可能会丢失数据,例如生产者通过连接node1上传消息,消息实体只会保存到node1节点的Queue中,node2和node3节点只是保存相同的Queue结构,不保存消息实体,消费者如通过node2(或mode3)进行消费时,RabbitMQ会临时在node1和node2(或node3)之间进行消息传输,将node1中的消息通过node2(或node3)发送给消费者,在此期间node1发生宕机,node2(或node3)无法获取该消息,若该消息进行了持久化,则node1节点恢复后,该消息可继续被消费,若未进行持久化,则该消息会丢失。此时在普通模式集群的基础上构建镜像队列,可以将消息数据保存在多个节点上。
Haproxy通过负载均衡算法将消息分发给集群中的各个节点。
搭建两台Haproxuy,使用keepalived对其做高可用,两台keepalived服务器之间通过vrrp进行交互,对外通过虚拟ip(192.168.0.45)进行访问haproxy
总结:客户端通过虚拟ip(192.168.0.45)进行访问haproxy,通过keepalived会将其发放到MASTER节点上的haproxy,若MASTER节点上的Haproxy宕机,则会发放到SLAVE节点上,通过Haproxy会访问到RabbitMQ集群,通过集群访问各个RabbitMQ
3.2 搭建镜像模式集群
使用三台服务器制作集群,主机名可执行命令 hostname 查看
ip | 主机名 | 部署的服务 |
192.168.0.1 | node1 | RabbitMQ + HAProxy + KeepAlived |
192.168.0.2 | node2 | RabbitMQ + HAProxy + KeepAlived |
192.168.0.3 | node3 | RabbitMQ |
1、配置IP地址和主机名之间的映射
分别在三个节点上 /etc/hosts 文件中添加 三台服务器ip和主机名之间的映射
vi /etc/hosts # 添加如下内容 192.168.0.1 node1 192.168.0.2 node2 192.168.0.3 node3
2、同步erlang cookies
RabbitMQ是通过erlang编写,erlang语言通过同步erlang集群各个节点的cookie实现分布式。
随机选择一个节点(这里选择node1),将该节点上的 .erlang.cookie文件拷贝到另两个节点上,该文件相当于密钥令牌,集群中的各个节点通过该令牌进行相互认证。
RabbitMQ服务启动时,erlang虚拟机会自动创建.erlang.cookie文件,默认路径为 /var/lib/rabbitmq/.erlang.cookie(rpm方式安装)或$HOME/.erlang.cookie,该文件是个隐藏文件,可通过 ls -al查看。
在node1节点上执行如下命令同步 .erlang.cookie文件
# 将 node1上 /root/.erlang.cookie 拷贝到node2上 scp /root/.erlang.cookie node2:/root/.erlang.cookie # 将 node1上 /root/.erlang.cookie 拷贝到node2上 scp /root/.erlang.cookie node3:/root/.erlang.cookie # 分别在三个节点上查看该文件内容是否相同 more /root/.erlang.cookie
3. RabbitMQ集群添加节点
分别在node2、node3节点执行如下命令,将node2、node3加入集群中
#在node2节点执行 #关闭应用 rabbitmqctl stop_app #将node2加入集群中 rabbitmqctl join_cluster ‐‐ram rabbit@node2 #启动应用 rabbitmqctl start_app #在node3节点执行 #关闭应用 rabbitmqctl stop_app #将node3加入集群中 rabbitmqctl join_cluster ‐‐ram rabbit@node3 #启动应用 rabbitmqctl start_app
4. 验证集群是否配置成功
执行如下命令进行验证
# 在任一节点执行如下命令验证集群是否配置成功 rabbitmqctl cluster_status #出现如下内容表示成功 Disk Nodes rabbit@node1 rabbit@node2 rabbit@node3 Running Nodes rabbit@node1 rabbit@node2 rabbit@node3
或使用任一节点 ip:15672 登陆管理页面,用户名密码为主节点node1的用户名密码,如下图显示绿色表示成功
5. 配置镜像队列集群
以上配置的集群只是普通集群,该集群下可能会丢失数据,例如生产者通过连接node1上传消息,消息实体只会保存到node1节点的Queue中,node2和node3节点只是保存相同的Queue结构,不保存消息实体,消费者如通过node2(或mode3)进行消费时,RabbitMQ会临时在node1和node2(或node3)之间进行消息传输,将node1中的消息通过node2(或node3)发送给消费者,在此期间node1发生宕机,node2(或node3)无法获取该消息,若该消息进行了持久化,则node1节点恢复后,该消息可继续被消费,若未进行持久化,则该消息会丢失。
如下为通过命令方式和管理页面方式实现:同步 virtual host 为 "/"下名称前缀为 "mirroring"的交换机和队列,并且自动保存到两个节点上
(1)命令行方式配置镜像队列
在任一节点上执行如下命令:
#同步 virtual host 为 "/"下名称前缀为 "mirroring"的交换机和队列,并且自动保存到两个节点上 rabbitmqctl set_policy -p / --priority 1 --apply-to all myPolicy "^mirroring" '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}' # policy配置格式 rabbitmqctl set_policy [-p <vhost>] [--priority <priority>] [--apply-to <apply-to>] <name> <pattern> <definition>
policy参数说明
参数 | 描述 |
-p | 可选参数,针对指定 Virtual host |
–priority | 可选参数,policy 的优先级 |
–apply-to | 可选参数,策略适用的对象类型,其值可为 queues、exchanges、all,默认是 all |
name | policy 的名称 |
pattern | 匹配模式(正则表达式) |
definition | 镜像定义,json 格式,包括三部分(ha-mode,ha-params,ha-sync-mode)具体配置见下表 |
definition参数说明
参数 | 描述 |
ha-mode |
ha-mode:指明镜像队列的模式,有效值为 all、exactly、nodes all:表示在集群中所有的节点上进行镜像 |
ha-params | ha-mode模式需要用到的参数(ha-mode=exactly时为整数,nodes时为字符串数组,all时不用指定) |
ha-sync-mode |
ha-sync-mode:进行队列中消息的同步方式,有效值为automatic和manual manual:手动<默认模式>.新的队列镜像将不会收到现有的消息,它只会接收新的消息,除非显式调用同步命令 automatic:自动同步,新加入节点时会默认同步已知的镜像队列 命令 rabbitmqctl sync_queue 队列名,手动同步队列 |
(2)通过管理页面添加:通过该集群任一节点ip:15672登陆
6. 集群策略相关命令
设置策略:rabbitmqctl set_policy [-p <vhost>] [--priority <priority>] [--apply-to <apply-to>] <name> <pattern> <definition>
清除策略:rabbitmqctl clear_policy [-p <vhost>] <name>
查看策略:rabbitmqctl list_policies [-p <vhost>]
7. 将某节点退出集群
# 在退出的节点上执行 rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl start_app # 在主节点上执行(如去除node2),offline参数代表允许离线删除 rabbitmqctl forget_cluster_node node2 [--offline]
3.3 配置HaProxy负载均衡
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、 快速并且可靠的一种解决方案。HAProxy实现了一种事件驱动、单一进程模型,此模型支持非常大的并发连接数。
安装包下载地址:https://www.haproxy.org/#down
在linux上下载: wget https://www.haproxy.org/download/2.5/src/haproxy-2.5.5.tar.gz
3.3.1 上传安装
系统内核:3.10.0-1160.53.1.el7.x86_64
选择两个节点分别安装 Haproxy,这里选择node1,node2节点(分别在两个节点上执行如下操作)
# 上传 haproxy-2.5.5.tar.gz 并解压(此次上传到/usr/local) tar -zxvf haproxy-2.5.5.tar.gz mv haproxy-2.5.5.tar.gz haproxy cd haproxy #编译并指定安装目录 make TARGET=linux-glibc ARCH=x86_64 PREFIX=/usr/local/haproxy # 安装 make install PREFIX=/usr/local/haproxy
参数说明:
TARGET和ARCH通过uname -r 查看服务器内核,根据内核信息匹配 haproxy/INSTALL(有些版本可查看 haproxy/README)中对应的参数,该参数不同版本有所区别
TARGET:内核版本
ARCH:系统CUP(64位为 x86_64)
PREFIX:指定安装目录
3.3.2 配置 Haproxy 环境变量
vi /etc/profile # 将如下内容导入该文件中 export HAPROXY_HOME=/usr/local/haproxy #安装路径 export PATH=$PATH:$HAPROXY_HOME/sbin # 生效 source /etc/profile
3.3.3 负载均衡配置
创建用户,日志目录
#添加haproxy组 groupadd haproxy #创建nginx运行账户haproxy并加入到haproxy组,不允许haproxy用户直接登录系统 useradd -g haproxy haproxy -s /bin/false #创建haproxy错误日志目录 mkdir -p /usr/local/haproxy/errors cp -r /usr/local/haproxy/examples/errorfiles/* /usr/local/haproxy/errors/ #创建日志文件 mkdir -p /usr/local/haproxy/logs touch /usr/local/haproxy/logs/haproxy.log #创建haproxy配置文件 mkdir -p /usr/local/haproxy/conf touch /usr/local/haproxy/conf/haproxy.cfg touch /usr/local/haproxy/stats
修改配置文件:/usr/local/haproxy/conf/haproxy.cfg
#‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ # Global settings #‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ global log 127.0.0.1 local2 chroot /usr/local/haproxy #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件 pidfile /var/run/haproxy.pid maxconn 4000 user haproxy group haproxy daemon #需要创建该文件 stats socket /usr/local/haproxy/stats defaults mode http #采用全局定义的日志 log global #日志类别http日志格式 option httplog #不记录健康检查的日志信息 option dontlognull #每次请求完毕后主动关闭http通道 option http-server-close option forwardfor except 127.0.0.0/8 #serverId对应的服务器挂掉后,强制定向到其他健康的服务器 option redispatch ##3次连接失败就认为服务不可用,也可以通过后面设置 retries 3 timeout http-request 10s timeout queue 1m #default 10 second timeout if a backend is not found timeout connect 10s #客户端连接超时 timeout client 1m #服务器连接超时 timeout server 1m timeout http-keep-alive 10s timeout check 10s #最大连接数 maxconn 3000 #开启haproxy监控服务 listen rabbitmq_cluster #通过6672对节点进行映射(自定义) bind 0.0.0.0:6672 #记录tcp连接的状态和时间 option tcplog #四层协议代理,即对TCP协议转发 mode tcp #开启TCP的Keep Alive(长连接模式) option clitcpka #haproxy与mq建立连接的超时时间 timeout connect 1s #客户端与haproxy最大空闲时间 timeout client 10s #服务器与haproxy最大空闲时间 timeout server 10s #采用轮询转发消息 balance roundrobin #每5秒发送一次心跳包,如连续两次有响应则代表状态良好 #如连续三次没有响应,则视为服务故障,该节点将被剔除。 server node1 节点1 ip地址:5672 check inter 5s rise 2 fall 3 server node2 节点2 ip地址:5672 check inter 5s rise 2 fall 3 listen http_front #监听端口-页面访问的端口(自定义) bind 0.0.0.0:6001 #统计页面自动刷新时间stats refresh 30s stats refresh 30s #统计页面url (页面访问的uri,即浏览器通过 ip:6001/haproxy_stats 访问) stats uri /haproxy_stats # 指定Haproxy访问用户名密码 stats auth haproxy_admin:haproxy_pwd ########设置haproxy 错误页面##### errorfile 403 /usr/local/haproxy/errors/403.http errorfile 500 /usr/local/haproxy/errors/500.http errorfile 502 /usr/local/haproxy/errors/502.http errorfile 503 /usr/local/haproxy/errors/503.http errorfile 504 /usr/local/haproxy/errors/504.http
开启日志记录:安装Haproxy之后,默认是没有开启日志记录的,需要根据rsyslog通过udp的方式获取Haproxy日志信息
vi /etc/rsyslog.conf #打开以下两行注解,开启 514 USP监听 $ModLoad imudp $UDPServerRun 514 #添加日志目录 (local2 与haproxy.cfg中global log保持一致) local2.* /usr/local/haproxy/haproxy.log vi /etc/sysconfig/rsyslog #修改如下内容(若没有则添加) SYSLOGD_OPTIONS="-r -m 0 -c 2" #重启生效 service rsyslog restart
3.3.4 启动Haproxy验证
haproxy相关命令
# 检查配置文件语法 haproxy -c -f /usr/local/haproxy/haproxy.cfg # 启动 haproxy -f /usr/local/haproxy/haproxy.cfg # 以daemon模式启动,以systemd管理的daemon模式启动 haproxy -D -f /usr/local/haproxy/haproxy.cfg haproxy -Ds -f /usr/local/haproxy/haproxy.cfg # 启动调试功能,将显示所有连接和处理信息在屏幕 haproxy -d -f /usr/local/haproxy/haproxy.cfg # 重启 需要使用st选项指定pid列表 haproxy -f /usr/local/haproxy.cfg -st `cat /var/run/haproxy.pid` # graceful restart,即reload。需要使用sf选项指定pid列表 haproxy -f /usr/local/haproxy.cfg -sf `cat /var/run/haproxy.pid` # 显示haproxy编译和启动信息 haproxy -vv
浏览器登陆 ip:6001/haproxy_stats,显示如下页面表示正常(须开放6001端口)
3.4 安装keepalived
官网下载地址:https://www.keepalived.org/download.html
在安装Haproxy的两个节点 node1,node2 (192.168.0.1、192.168.0.2)上安装keepalived
# 安装依赖 yum install -y gcc openssl-devel popt-devel ipvsadm libnl3-devel net-snmp-devel libnl libnl-devel libnfnetlink-devel # 上传安装包到 /usr/local 并解压 tar -zxvf keepalived-2.2.4 # 创建安装目录 mkdir /usr/local/keepalived # 编译 cd keepalived-2.2.4 ./configure --prefix=/usr/local/keepalived # 安装 make && make install # 创建keepalived配置文件目录 keepalived默认会读取 /etc/keepalived/keepalived.conf madir keepalived.conf cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/ cp /usr/local/keepalived-2.2.4/keepalived/etc/init.d/keepalived /etc/init.d/ cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ # 创建关闭keepalived的脚本 vi /etc/keepalived/stop_keepalived # 脚本内容 监听haproxy端口 6001 #! /bin/bash counter=$(ss -tanlp | grep "LISTEN" | grep "6001"|wc -l) if [ "${counter}" -eq 0 ] then pkill keepalived fi
修改配置文件: vi /etc/keepalived/keepalived.conf
主节点node1上的配置文件
! Configuration File for keepalived global_defs { script_user root enable_script_security router_id node1 vrrp_skip_check_adv_addr # vrrp_strict vrrp_garp_interval 0 vrrp_gna_interval 0 } vrrp_instance VI_1 { #keepalived角色,MASTER表示主节点 BACKUP从节点 state MASTER #指定检测的网卡 interface eth0 #虚拟路由的id,主备节点设置相同 virtual_router_id 60 #优先级,主节点的优先级需要设置的比从节点高 priority 90 #设置主备之间的检查时间,单位s advert_int 1 #定义验证类型和密码 authentication { auth_type PASS auth_pass 1111 } # 另一个节点的ip unicast_peer { 192.168.0.2 } #虚拟ip virtual_ipaddress { 192.168.0.45 } } virtual_server 192.168.0.45 6001 { virtual_server delay_loop 6 lb_algo rr lb_kind NAT persistence_timeout 50 protocol TCP real_server 192.168.0.1 6001 { weight 1 # 监控脚本 notify_down /etc/keepalived/stop_keepalived.sh TCP_CHECK { connect_timeout 10 retry 3 connect_port 6001 } } }
从节点node2配置文件
! Configuration File for keepalived global_defs { script_user root enable_script_security router_id node2 vrrp_skip_check_adv_addr # vrrp_strict vrrp_garp_interval 0 vrrp_gna_interval 0 } vrrp_instance VI_1 { #keepalived角色,MASTER表示主节点 BACKUP从节点 state MASTER #指定检测的网卡 interface eth0 #虚拟路由的id,主备节点设置相同 virtual_router_id 60 #优先级,主节点的优先级需要设置的比从节点高 priority 90 #设置主备之间的检查时间,单位s advert_int 1 #定义验证类型和密码 authentication { auth_type PASS auth_pass 1111 } # 另一个节点的ip unicast_peer { 192.168.0.1 } #虚拟ip virtual_ipaddress { 192.168.0.45 } } virtual_server 192.168.0.45 6001 { virtual_server delay_loop 6 lb_algo rr lb_kind NAT persistence_timeout 50 protocol TCP real_server 192.168.0.2 6001 { weight 1 # 监控脚本 notify_down /etc/keepalived/stop_keepalived.sh TCP_CHECK { connect_timeout 10 retry 3 connect_port 6001 } } }
启动命令 /etc/init.d/keepalived start
关闭命令 /etc/init.d/keepalived stop
查看日志 tail -f /var/log/messages
验证:启动后在两个节点上使用 ip addr 命令,查看配置虚拟ip(192.168.0.45)是否在配置的网卡(eth0)下,如果主节点下存在从节点点不存在,说明正常,此时关闭主节点haproxy,虚拟ip(192.168.0.45)会漂移到从节点,重新启动主节点keepalived会重新漂移到主节点,此时可以根据 192.168.0.45连接haproxy
标签:haproxy,lee,keepalived,RabbitMQ,源码,Linux,erlang,root,节点 来源: https://www.cnblogs.com/sunnyLee/p/16033853.html