消息队列之RocketMQ简介及单机部署(一)
作者:互联网
二、RocketMQ
官方参考部署文档:https://rocketmq.apache.org/docs/quick-start/
1 RocketMQ各组件介绍
1.1 NameServer
NameServer是一个非常简单的Topic路由注册中心,其角色类似Dubbo中的zookeeper,支持Broker的动态注册与发现。主要包括两个功能:
Broker管理:NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供心跳检测机制,检查Broker是否还存活;
路由信息管理:每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Produce和Conumser通过NameServer就可以知道整个Broker集群的路由信息,从而进行消息的投递和消费。NameServer通常也是集群的方式部署,各实例间相互不进行信息通讯。Broker是向每一台NameServer注册自己的路由信息,所有每一个NameServer实例送上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了,Broker任然可以向其他NameServer同步其路由信息,Producer,Consumer仍然可以动态感知Broker的路由信息。
1.2 Broker
Broker主要负责消息的存储、投递和查询以及服务高可用保证,为了实现这些功能,Broker包含了以下几个重要子模块:
Remoting Module:整个Broker的实体,负责处理来自clients端的请求。
Client Manager:负责管理客户端(Producer/Consumer)和维护Consumer的Topoc订阅信息。
Store Service:提供方便简单的API接口处理消息存储到物理磁盘和查询功能。
HA Service:高可用服务,提供Master Broker和Slvae Broker之间的数据同步功能。
Index Service:根据特定的Message Key对投递到Broker的消息进行索引服务,以提供消息的快速查询。
1.3 Producer(生产者)
消息发布者,支持分布式集群部署。Produer 通过 MQ 负载均衡模块选择相应 Broker 中的 queue 进行消息投递,投递过程支持快速失败并且低延迟。
1.4 Consumer(消费者)
消息消费的角色,支持分布式集群方式部署。支持以push推,pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费,它提供实时消息订阅机制,可以满足大多数用户的需求。
1.5 Topic
区分消息的种类;一个发送者可以发送消息给一个或者多个Topic;一个消息的接收者可以订阅一个或者多个Topic消息。
1.6 Message Queue
相当于是Topic的分区;用于并行发送和接收消息。
2 RocketMQ的特点
1、是一个队列模型的消息中间件,具有高性能、高可靠、高实时、分布式等特点。
2、Producer、Consumer、队列都可以分布式。
3、Producer向一些队列轮流发送消息,队列集合称为Topic,Consumer如果做广播消费,则一个Consumer实例消费这个Topic所有队列,如果做集群消费,则多个Consumer实例平均消费这Topic对应的队列集合。
4、能够保证严格的消息顺序。
5、支持拉(pull)和推(push)两种消息模式。
6、高效的订阅者水平扩展能力。
7、实时的消息订阅机制。
8、亿级消息堆积能力。
9、支持多种消息协议,如JMS、OpenMessaging等。
10、较少的依赖。
3 RocketMQ单机部署
官方参考地址:https://rocketmq.apache.org/docs/quick-start/
3.1 部署java环境
#创建java的目录 mkdir -p /apps/java #将下载好的文件传到目录下解压 tar xvf jdk-8u271-linux-x64.tar.gz #创建软链接 ln -sv jdk1.8.0_271/ jdk #配置环境变量 vim /etc/profile.d/java.sh #java环境变量 export JAVA_HOME=/apps/java/jdk export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH #同步文件 source /etc/profile.d/java.sh #测试java环境变量是否配置成功 root@ubuntu-40:/apps# java -version java version "1.8.0_271" Java(TM) SE Runtime Environment (build 1.8.0_271-b09) Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode)
3.2 部署RocketMQ
#下载RocketMQ包 root@ubuntu-40:/apps/rocketMQ# wget https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.9.0/rocketmq-all-4.9.0-bin-release.zip #解压 root@ubuntu-40:/apps/rocketMQ# unzip rocketmq-all-4.9.0-bin-release.zip #创建软链接 root@ubuntu-40:/apps/rocketMQ# ln -sv rocketmq-all-4.9.0-bin-release/ rocketmq #虚拟机环境下,需要修改配置文件中的内存大小 root@ubuntu-40:/apps/rocketMQ/rocketmq# vim bin/runserver.sh JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn25m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=256m" root@ubuntu-40:/apps/rocketMQ/rocketmq# vim bin/runbroker.sh JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn256m" #启动namesev root@ubuntu-40:/apps/rocketMQ/rocketmq# nohup bash bin/mqnamesrv & #启动broker root@ubuntu-40:/apps/rocketMQ/rocketmq# nohup sh bin/mqbroker -n localhost:9876 & #验证是否部署成功 root@ubuntu-40:/apps/rocketMQ/rocketmq# jps 33812 BrokerStartup 33783 NamesrvStartup 34011 Jps #关闭namesev root@ubuntu-40:/apps/rocketMQ/rocketmq# sh bin/mqshutdown namesrv #关闭broker root@ubuntu-40:/apps/rocketMQ/rocketmq# sh bin/mqshutdown broker
3.3 使用systemctl管理RocketMQ
namesrv的service文件
[Unit] Description=namesrv After=network.target Documentation=http://rocketmq.apache.org/ [Service] #启动用户 User=root #这里Type一定要写simple Type=simple #java的位置 Environment=JAVA_HOME=/apps/java/jdk #ExecStart和ExecStop分别在systemctl start和systemctl stop时候调动 ExecStart=/apps/rocketmq/rocketmq-all-4.9.0-bin-release/bin/mqnamesrv ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/apps/rocketmq/rocketmq-all-4.9.0-bin-release/bin/mqshutdown namesrv [Install] WantedBy=multi-user.target
broker的service文件
[Unit] Description=broker After=network.target Documentation=http://rocketmq.apache.org/ [Service] #启动用户 User=root #这里Type一定要写simple Type=simple #java的位置 Environment=JAVA_HOME=/apps/java/jdk #ExecStart和ExecStop分别在systemctl start和systemctl stop时候调动
#注意:启动时,需要在Broker.conf文件中指定namesrv的ip和端口 ExecStart=/apps/rocketmq/rocketmq-all-4.9.0-bin-release/bin/mqbroker -c /apps/rocketmq/rocketmq-all-4.9.0-bin-release/conf/broker.conf ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/apps/rocketmq/rocketmq-all-4.9.0-bin-release/bin/mqshutdown broker [Install] WantedBy=multi-user.target
3.4 RocketMQ web管理界面 rocketMQ-console
下载地址:https://github.com/apache/rocketmq-externals
#先将RocketMQ-console的源码克隆下来 git clone https://github.com/apache/rocketmq-externals.git #里面会有很多个项目 root@ubuntu-001:/data/daima/rocketmq-externals-master# ll total 132 drwxr-xr-x 30 root root 4096 Jun 10 12:48 ./ drwxr-xr-x 4 root root 4096 Jun 17 14:46 ../ drwxr-xr-x 2 root root 4096 Jun 10 12:48 .github/ -rw-r--r-- 1 root root 154 Jun 10 12:48 .gitignore -rw-r--r-- 1 root root 349 Jun 10 12:48 .travis.yml -rw-r--r-- 1 root root 3425 Jun 10 12:48 README.md drwxr-xr-x 2 root root 4096 Jun 10 12:48 dev/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 docs/ drwxr-xr-x 2 root root 4096 Jun 10 12:48 rocketmq-cloudevents-binding/ drwxr-xr-x 6 root root 4096 Jun 10 12:48 rocketmq-connect/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-connect-activemq/ drwxr-xr-x 4 root root 4096 Jun 10 12:48 rocketmq-connect-cassandra/ drwxr-xr-x 2 root root 4096 Jun 10 12:48 rocketmq-connect-console/ drwxr-xr-x 2 root root 4096 Jun 10 12:48 rocketmq-connect-es/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-connect-jdbc/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-connect-jms/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-connect-kafka/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-connect-mongo/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-connect-rabbitmq/ drwxr-xr-x 4 root root 4096 Jun 10 12:48 rocketmq-connect-redis/ drwxr-xr-x 5 root root 4096 Jun 10 12:48 rocketmq-console/ drwxr-xr-x 4 root root 4096 Jun 10 12:48 rocketmq-flink/ drwxr-xr-x 5 root root 4096 Jun 10 12:48 rocketmq-flume/ drwxr-xr-x 5 root root 4096 Jun 10 12:48 rocketmq-hbase/ drwxr-xr-x 7 root root 4096 Jun 10 12:48 rocketmq-iot-bridge/ drwxr-xr-x 5 root root 4096 Jun 10 12:48 rocketmq-jms/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-knative/ drwxr-xr-x 5 root root 4096 Jun 10 12:48 rocketmq-mysql/ drwxr-xr-x 4 root root 4096 Jun 10 12:48 rocketmq-redis/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-replicator/ drwxr-xr-x 3 root root 4096 Jun 10 12:48 rocketmq-sentinel/ drwxr-xr-x 7 root root 4096 Jun 10 12:48 rocketmq-serializer/ drwxr-xr-x 4 root root 4096 Jun 10 12:48 rocketmq-spark/ #进入到console源代码目录,使用mvn进行编译 cd rocketmq-console mvn clean package -Dmaven.test.skip=true #启动前需要指定namesrv的地址,所以需要设置环境变量 export NAMESRV_ADDR="localhost:9876" #后台启动rocketMQ-console nohup java -jar rocketmq-console-ng-2.0.0.jar &
在浏览器中输入访问,默认地址ip:8080
标签:10,12,48,单机,队列,Jun,RocketMQ,root,rocketmq 来源: https://www.cnblogs.com/nj-duzi/p/14961391.html