其他分享
首页 > 其他分享> > HAProxy、Tomcat

HAProxy、Tomcat

作者:互联网

一、编译安装haproxy

一键安装脚本

#!/bin/bash
# 编译安装HAProxy

. /etc/init.d/functions
#HAproxy版本
HAProxy_version=haproxy-2.6.1
TAR=tar.gz
HAProxy=${HAProxy_version}.${TAR}

#HAProxy源码下载地址
HAProxy_url=http://www.haproxy.org/download/2.6/src/haproxy-2.6.1.tar.gz
# haproxy安装路径
HAProxy_install_DIR=/apps/haproxy

#lua版本
Lua_version=lua-5.3.5
TAR_lua=tar.gz
Lua=${Lua_version}.${TAR_lua}
#lua源码下载地址
Lua_url=http://www.lua.org/ftp/${Lua}


# CPU数量
CPUS=`lscpu|grep "^CPU(s)"|awk '{print $2}'`
# 系统类型
os_type=`grep "^NAME" /etc/os-release |awk -F'"| ' '{print $2}'`
# 系统版本号
os_version=`awk -F'"' '/^VERSION_ID/{print $2}' /etc/os-release`

color () {
if [[ $2 -eq 0 ]];then
    echo -e "\e[1;32m$1\t\t\t\t\t\t[  OK  ]\e[0;m"
else
    echo $2
    echo -e "\e[1;31m$1\t\t\t\t\t\t[ FAILED ]\e[0;m"
fi
}

download_lua (){
cd /opt
if [ -e ${Lua} ];then
	color "lua安装包已存在" 0
else
	color "开始下载lua安装包" 0
	wget ${Lua_url}
	if [ $? -ne 0 ];then
		color "下载lua安装包失败,退出!" 1
		exit 1
	fi

fi
}

download_haproxy (){
cd /opt
if [ -e ${HAProxy} ];then
	color "haproxy安装包已存在" 0
else
	color "开始下载haproxy安装包" 0
	wget ${HAProxy_url}
	if [ $? -ne 0 ];then
		color "下载haproxy安装包失败,退出!" 1
		exit 1
	fi
fi
}

update_lua (){
# 安装依赖包
yum -y install gcc readline-devel

# 解压源码包
tar -xvf /opt/${Lua} -C /usr/local/src
ln -s /usr/local/src/${Lua_version} /usr/local/src/lua

# 编译安装
cd /usr/local/src/lua
make linux test
}

install_haproxy (){
# 安装依赖包
yum -y install gcc openssl-devel pcre-devel systemd-devel

# 解压源码包
tar xvf /opt/${HAProxy} -C /usr/local/src
ln -s /usr/local/src/${HAProxy_version} /usr/local/src/haproxy

# 编译安装
cd /usr/local/src/haproxy
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/usr/local/src/lua/src/ LUA_LIB=/usr/local/src/lua/src/
make install PREFIX=${HAProxy_install_DIR}
ln -s ${HAProxy_install_DIR}/sbin/haproxy /usr/sbin/

# 准备服务启动配置文件
## 添加用户
useradd -r -s /sbin/nologin -d /var/lib/haproxy haproxy
mkdir -p /etc/haproxy
mkdir -p /var/lib/haproxy
## 准备service服务
cat > /usr/lib/systemd/system/haproxy.service <<EOF
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target

[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000

[Install]
WantedBy=multi-user.target
EOF

###准备haproxy配置文件
cat > /etc/haproxy/haproxy.cfg <<EOF
global
	maxconn 100000
	chroot ${HAProxy_install_DIR}
	stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
	#uid 99
	#gid 99
	user haproxy
	group haproxy
	daemon
	#nbproc 4
	#cpu-map 1 0
	#cpu-map 2 1
	#cpu-map 3 2
	#cpu-map 4 3
	pidfile /var/lib/haproxy/haproxy.pid
	log 127.0.0.1 local2 info

defaults
	option http-keep-alive
	option forwardfor
	maxconn 100000
	mode http
	timeout connect 300000ms
	timeout client 300000ms
	timeout server 300000ms

listen stats
	mode http
	bind 0.0.0.0:9999
	stats enable
	log global
	stats uri	/haproxy-status
	stats auth	haadmin:123456

listen web_port
	bind 0.0.0.0:80
	mode http
	log global
	server web1	127.0.0.1:8080 check inter 3000 fall 2 rise 5
EOF

systemctl daemon-reload
systemctl enable --now haproxy
systemctl is-active haproxy

if [ $? -ne 0 ];then
	color "haproxy服务启动失败!" !
	exit 1
else
	color "haproxy服务启动成功" 0
fi
}

download_lua

download_haproxy

update_lua

install_haproxy

exit 0

查看端口

[root@shichu opt]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2022-06-28 00:22:44 CST; 2min 7s ago
  Process: 2077 ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q (code=exited, status=0/SUCCESS)
 Main PID: 2079 (haproxy)
   CGroup: /system.slice/haproxy.service
           ├─2079 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
           └─2084 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid

Jun 28 00:22:44 shichu systemd[1]: Starting HAProxy Load Balancer...
Jun 28 00:22:44 shichu systemd[1]: Started HAProxy Load Balancer.
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : haproxy version is 2.6.1-f6ca66d
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : path to executable is /usr/sbin/haproxy
Jun 28 00:22:44 shichu haproxy[2079]: [ALERT]    (2079) : config : parsing [/etc/haproxy/haproxy.cfg:15] : 'pidfile' already specified. Continuing.
Jun 28 00:22:44 shichu haproxy[2079]: [WARNING]  (2079) : config : ca-file: '@system-ca' couldn't load '/etc/pki/tls/certs/ca-bundle.trust.crt'
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : New worker (2084) forked
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : Loading success.
Jun 28 00:22:44 shichu haproxy[2079]: [WARNING]  (2084) : Server web_port/web1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 5ms. 0 active and 0 back...ining in queue.
Jun 28 00:22:44 shichu haproxy[2079]: [ALERT]    (2084) : proxy 'web_port' has no server available!
Hint: Some lines were ellipsized, use -l to show in full.


[root@shichu opt]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name  
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      900/sshd          
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1052/master       
tcp        0      0 0.0.0.0:9999            0.0.0.0:*               LISTEN      2084/haproxy      
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      634/rpcbind       
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      2084/haproxy      
tcp6       0      0 :::22                   :::*                    LISTEN      900/sshd          
tcp6       0      0 ::1:25                  :::*                    LISTEN      1052/master       
tcp6       0      0 :::111                  :::*                    LISTEN      634/rpcbind   

二、总结haproxy各调度算法的实现方式及其应用场景

1. 静态算法

按照事先定义好的规则轮询公平调度,不关心后端服务器的当前负载、连接数和响应速度等,且无法实时修改权重(只能为0和1,不支持其它值),只能靠重启HAProxy生效。

  1. static-rr

    基于权重的轮询调度,不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其他值)及后端服务器慢启动,其后端主机数量没有限制,相当于LVS中的wrr。

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance static-rr
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5
    
  2. first

    根据服务器在列表中的位置,自上而下进行调度,但是其只会当第一台服务器的连接数达到上限,新请求才会分配给下一台服务,因此会忽略服务器的权重设置,此方式使用较少。

    不支持使用socat进行动态修改权重,可以设置0和1,可以设置其他值但无效

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance first
    	server web1 10.0.0.17:80 maxconn 2 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
    

2. 动态算法

动态算法:基于后端服务器状态进行调度适当调整,新请求将优先调度至当前负载较低的服务器,且权重可以在haproxy运行时动态调整无需重启。

  1. roundronbin

    基于权重的轮询动态调度算法,支持权重的运行时调整,不同于lvs中的rr轮询模式,HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数),其每个后端backend中对多支持4095个real server,支持对real server权重动态调整,roundrobin为默认调度算法,此算法使用广泛。

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance roundrobin
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5
    

    支持动态调整权重

    # echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock 
    1 (initial 1)
    
    # echo "set weight web_host/web1 3" | socat stdio /var/lib/haproxy/haproxy.sock 
    
    # echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock 
    3 (initial 1)
    
  2. leastconn

    加权的最少连接的动态,支持权重的运行时调整和慢启动,即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接),比较适合长连接的场景使用,比如:MySQL等场景。

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance leastconn
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
    
  3. random

    在1.9版本开始增加 random的负载平衡算法,其基于随机数作为一致性hash的key,随机负载平衡对于大型服务器场或经常添加或删除服务器非常有用,支持weight的动态调整,weight较大的主机有更大概率获取新请求。

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance random
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
    

3. 其他算法

即可作为静态算法,又可以通过选项成为动态算法

1)souce

源地址hash,基于用户源地址hash并将请求转发到后端服务器,后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时,会导致很多用户的请求转发至新的后端服务器,默认为静态方式,但是可以通过hash-type支持的选项更改。

这个算法一般是在不插入Cookie的TCP模式下使用,也可给拒绝会话cookie的客户提供最好的会话粘性,适用于session会话保持但不支持cookie和缓存的场景。

源地址有两种转发客户端请求到后端服务器的服务器选取计算方式,分别是取模法和一致性hash。

  1. map-based取模法

    取模法,对source即源地址进行hash计算,再基于服务器总权重的取模,最终结果决定将此请求转发至对应的后端服务器。此方法是静态的,即不支持在线调整权重,不支持慢启动,可实现对后端服务器均衡调度。缺点是当服务器的总权重发生变化时,即有服务器上线或下线,都会因总权重发生变化而导致调度结果整体改变,hash-type 指定的默认值为此算法

    map-based算法:基于权重取模,hash(source_ip)%所有后端服务器相加的总权重
    

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode tcp
    	log global
    	balance source
    	hash-type map-based 
    	server web1  10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 3
    	server web2  10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 3
      
    #不支持动态调整权重值
    [root@haproxy ~]#echo "set weight web_host/10.0.0.27 10" | socat stdio /var/lib/haproxy/haproxy.sock 
    Backend is using a static LB algorithm and only accepts weights '0%' and '100%'. 
    
    #只能动态上线和下线
    [root@haproxy ~]#echo "set weight web_host/10.0.0.27 0" | socat stdio /var/lib/haproxy/haproxy.sock 
    [root@haproxy conf.d]#echo "get weight web_host/10.0.0.27" | socat stdio /var/lib/haproxy/haproxy.sock 
    0 (initial 1)
    
  2. 一致性hash

    一致性哈希,当服务器的总权重发生变化时,对调度结果影响是局部的,不会引起大的变动,hash(o)mod n ,该hash算法是动态的,支持使用 socat等工具进行在线权重调整,支持慢启动。

    算法:

    1、key1=hash(source_ip)%(2^32) [0---4294967295]
    2、keyA=hash(后端服务器虚拟ip)%(2^32)
    3、将key1和keyA都放在hash环上,将用户请求调度到离key1最近的keyA对应的后端服务器
    

    hash环偏斜问题

    增加虚拟服务器IP数量,比如:一个后端服务器根据权重为1生成1000个虚拟IP,再hash。而后端服务器权重为2则生成2000的虚拟IP,再bash,
    最终在hash环上生成3000个节点,从而解决hash环偏斜问题。
    

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode tcp
    	log global
    	balance source
    	hash-type consistent
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
    

2)uri

基于对用户请求的URI的左半部分或整个uri做hash,再将hash结果对总权重进行取模后,根据最终结果将请求转发到后端指定服务器,适用于后端是缓存服务器场景,默认是静态算法,也可以通过hash-type指定map-based和consistent,来定义使用取模法还是一致性hash。

注意:此算法基于应用层,所以只支持 mode http ,不支持 mode tcp

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
左半部分:/<path>;<params>
整个uri:/<path>;<params>?<query>#<frag>

uri取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance uri
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

uri 一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance uri
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

3)url_param

url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算,并由服务器总权重相除以后派发至某挑出的服务器;通常用于追踪用户,以确保来自同一个用户的请求始终发往同一个real server,如果无没key,将按roundrobin算法。

# 假设:
url = http://www.magedu.com/foo/bar/index.php?key=value

# 则:
host = "www.magedu.com"
url_param = "key=value"

取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance url_param userid		#url_param hash
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance url_param userid		#对url_param的值取hash
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

4)hdr

针对用户每个http头部(header)请求中的指定信息做hash,此处由name指定的http首部将会被取出并做hash计算,然后由服务器总权重取模以后派发至某挑出的服务器,如果无有效值,则会使用默认的轮询调度。

取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance hdr(User-Agent)
	#balance hdr(host)
	  
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance hdr(User-Agent)
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

rdp-cookie对远windows远程桌面的负载,使用cookie保持会话,默认是静态,也可以通过hash-type指定map-based和consistent,来定义使用取模法还是一致性hash。

取模法配置示例

listen RDP
	bind 10.0.0.7:3389
	balance rdp-cookie
	mode tcp
	server rdp0 10.0.0.17:3389 check fall 3 rise 5 inter 2000 weight 1

一致性hash配置示例

listen magedu_RDP_3389
	bind  172.16.0.100:3389
	balance rdp-cookie
	hash-type consistent
	mode tcp
	server rdp0 10.0.0.200:3389 check fall 3 rise 5 inter 2000 weight 1

注意:基于iptables实现RDP协议转发,必须开启ip转发功能: net.ipv4.ip_forward = 1。

4. 算法总结

#静态
static-rr--------->tcp/http  
first------------->tcp/http

#动态
roundrobin-------->tcp/http
leastconn--------->tcp/http
random------------>tcp/http

#以下静态和动态取决于hash_type是否consistent
source------------>tcp/http
Uri--------------->http
url_param--------->http     
hdr--------------->http
rdp-cookie-------->tcp

5. 适用场景

static-rr			#做session共享的web集群
first 				#使用较少

roundrobin			#默认调度算法
leastconn			#数据库
random				#对于大型服务器场或经常添加或删除服务器非常有用

source				#基于客户端公网IP的会话保持

Uri				#缓存服务器,CDN服务商,蓝汛、百度、阿里云、腾讯
url_param			#可以实现session保持

hdr				#基于客户端请求报文头部做下一步处理
rdp-cookie			#基于Windows主机,很少使用

三、使用haproxy的ACL实现基于文件后缀名的动静分离

访问控制列表(ACL,Access Control Lists)是一种基于包过滤的访问控制技术,它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配),即对接收到的报文进行匹配和过滤,基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作,比如允许其通过或丢弃。

官网帮助:http://cbonte.github.io/haproxy-dconv/2.1/configuration.html#7

1. ACL配置选项

acl   <aclname> <criterion>   [flags]     [operator]   [<value>]
acl     名称     匹配规范     匹配模式     具体操作符     操作对象类型

1) Name

acl   image_service hdr_dom(host)   -i   img.magedu.com

#ACL名称,可以使用大字母A-Z、小写字母a-z、数字0-9、冒号:、点.、中横线和下划线,并且严格区分大小写,比如:my_acl和My_Acl就是两个完全不同的acl

2) criterion

定义ACL匹配规范,即:判断条件

hdr string,提取在一个HTTP请求报文的首部
hdr([<name> [,<occ>]]):完全匹配字符串,header的指定信息,<occ> 表示在多值中使用的值的出现次数
hdr_beg([<name> [,<occ>]]):前缀匹配,header中指定匹配内容的begin
hdr_end([<name> [,<occ>]]):后缀匹配,header中指定匹配内容end
hdr_dom([<name> [,<occ>]]):域匹配,header中的domain name
hdr_dir([<name> [,<occ>]]):路径匹配,header的uri路径
hdr_len([<name> [,<occ>]]):长度匹配,header的长度匹配
hdr_reg([<name> [,<occ>]]):正则表达式匹配,自定义表达式(regex)模糊匹配
hdr_sub([<name> [,<occ>]]):子串匹配,header中的uri模糊匹配
 
#示例:
hdr(<string>) 用于测试请求头部首部指定内容
hdr_dom(host) 请求的host名称,如 www.magedu.com
hdr_beg(host) 请求的host开头,如 www.   img.   video.   download.   ftp.
hdr_end(host) 请求的host结尾,如 .com   .net   .cn 
#示例:
acl bad_agent hdr_sub(User-Agent) -i curl wget
block if bad_agent
#有些功能是类似的,比如以下几个都是匹配用户请求报文中host的开头是不是www
acl short_form hdr_beg(host)       www.
acl alternate1 hdr_beg(host) -m beg www.
acl alternate2 hdr_dom(host) -m beg www.
acl alternate3 hdr(host)     -m beg www.
base : string
#返回第一个主机头和请求的路径部分的连接,该请求从主机名开始,并在问号之前结束,对虚拟主机有用
<scheme>://<user>:<password>@#<host>:<port>/<path>;<params>#?<query>#<frag>
 base     : exact string match
 base_beg : prefix match
 base_dir : subdir match
 base_dom : domain match
 base_end : suffix match
 base_len : length match
 base_reg : regex match
 base_sub : substring match
path : string
#提取请求的URL路径,该路径从第一个斜杠开始,并在问号之前结束(无主机部分)
<scheme>://<user>:<password>@<host>:<port>#/<path>;<params>#?<query>#<frag>
 path     : exact string match
 path_beg : prefix match  #请求的URL开头,如/static、/images、/img、/css
 path_end : suffix match  #请求的URL中资源的结尾,如 .gif .png .css .js .jpg .jpeg
 path_dom : domain match
 path_dir : subdir match
 path_len : length match
 path_reg : regex match
 path_sub : substring match
#示例:
 path_beg -i /haproxy-status/ 
 path_end .jpg .jpeg .png .gif 
 path_reg ^/images.*\.jpeg$ 
 path_sub image
 path_dir jpegs 
 path_dom magedu
 
url : string
#提取请求中的整个URL。一个典型的应用是具有预取能力的缓存,以及需要从数据库聚合多个信息并将它们保
存在缓存中的网页门户入口,推荐使用path
 url :exact string match
 url_beg : prefix match
 url_dir : subdir match
 url_dom : domain match
 url_end : suffix match
 url_len : length match
 url_reg : regex match
 url_sub : substring match
 
dst #目标IP
dst_port #目标PORT
src   #源IP
src_port #源PORT
#示例:
acl invalid_src src 10.0.0.7 192.168.1.0/24
acl invalid_src src 172.16.0.0/24
acl invalid_port src_port 0:1023
status : integer  #返回在响应报文中的状态码
#七层协议
acl valid_method method GET HEAD
http-request deny if ! valid_method

3) flags

ACL匹配模式

-i 不区分大小写
-m 使用指定的pattern匹配方法
-n 不做DNS解析
-u 禁止acl重名,否则多个同名ACL匹配或关系

4) operator

ACL 操作符

整数比较:eq、ge、gt、le、lt
字符比较:
- exact match     (-m str) :字符串必须完全匹配模式
- substring match (-m sub) :在提取的字符串中查找模式,如果其中任何一个被发现,ACL将匹配
- prefix match   (-m beg) :在提取的字符串首部中查找模式,如果其中任何一个被发现,ACL将匹配
- suffix match   (-m end) :将模式与提取字符串的尾部进行比较,如果其中任何一个匹配,则ACL进
行匹配
- subdir match   (-m dir) :查看提取出来的用斜线分隔(“/")的字符串,如其中任一个匹配,则
ACL进行匹配
- domain match   (-m dom) :查找提取的用点(“.")分隔字符串,如果其中任何一个匹配,则ACL进
行匹配

5) value

value的类型

The ACL engine can match these types against patterns of the following types :
- Boolean #布尔值
- integer or integer range #整数或整数范围,比如用于匹配端口范围
- IP address / network #IP地址或IP范围, 192.168.0.1 ,192.168.0.1/24
- string--> www.magedu.com
 exact #精确比较
 substring #子串
 suffix #后缀比较
 prefix #前缀比较
 subdir #路径, /wp-includes/js/jquery/jquery.js
 domain #域名,www.magedu.com
- regular expression #正则表达式
- hex block #16进制

6)多个ACL的组合调用方式

多个ACL的逻辑处理

与:隐式(默认)使用
或:使用“or" 或 “||"表示
否定:使用 "!" 表示

多个ACL调用方式:

#示例:
if valid_src valid_port #与关系,ACL中A和B都要满足为true,默认为与
if invalid_src || invalid_port  #或,ACL中A或者B满足一个为true
if ! invalid_src #非,取反,不满足ACL才为true

2. 架构

graph LR A[HAPoxy</br>10.0.0.7] B[static-web</br>10.0.0.17] C[php-web</br>10.0.0.27] D[Client] A--->B A--->C D--->A

3. 配置

  1. HAProxy(10.0.0.7)

    • 配置/etc/haproxy/conf.d/shi.cfg
    frontend shi_http_port
        bind 10.0.0.7:80
        mode http
        balance roundrobin
        log global
        option httplog
    
    
    #acl setting
    acl acl_static path_end -i .gif .png .css .js .jpg .jpeg
    acl acl_php    path_end -i .php
    
    #acl hosts
    use_backend static_hosts if acl_static
    use_backend  php_hosts    if acl_php
    default_backend default_hosts
    
    #backend hosts
    #static服务器配置
    backend static_hosts
        mode http
        server web1 10.0.0.17 check inter 2000 fall 3 rise 5
    
    #php服务器配置
    backend php_hosts
        mode http
        server web2 10.0.0.27 check inter 2000 fall 3 rise 5
    
    #默认服务器配置
    backend default_hosts
        mode http
        server web2 10.0.0.27 check inter 2000 fall 3 rise 5 
    
    • 修改service文件
    [root@shichu haproxy]# cat /lib/systemd/system/haproxy.service 
    [Unit]
    Description=HAProxy Load Balancer
    After=syslog.target network.target
    
    [Service]
    #下面两行添加子配置文件路径/etc/haproxy/conf.d/
    ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -c -q
    ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -p /var/lib/haproxy/haproxy.pid
    ExecReload=/bin/kill -USR2 $MAINPID
    LimitNOFILE=100000
    
    [Install]
    WantedBy=multi-user.target
    
    
    • 重启服务
    systemctl daemon-reload
    systemctl restart haproxy
    
  2. static-web(10.0.0.17)

    • 安装nginx

    • 上传static.jpg图片至/usr/share/nginx/html/目录下

  3. php-web(10.0.0.27)

    • 安装nginx

    • 准备页面

      #index.html
      [root@shichu html]# cat index.html 
      10.0.0.27 
      
      #test.php 
      [root@shichu html]# cat test.php 
      <?php
      echo "<h1>http://10.0.0.27/test.php</h1>\n";
      ?>
      

4. 访问验证

四、haproxy https实现

haproxy可以实现https的证书安全,从用户到haproxy为https,从haproxy到后端服务器用http通信但基于性能考虑,生产中证书都是在后端服务器比如nginx上实现。

#配置HAProxy支持https协议,支持ssl会话;
	bind *:443 ssl crt /PATH/TO/SOME_PEM_FILE

#指令 crt 后证书文件为PEM格式,需要同时包含证书和所有私钥
	cat demo.key demo.crt > demo.pem

#把80端口的请求重向定443
	bind *:80
	redirect scheme https if !{ ssl_fc }

#向后端传递用户请求的协议和端口(frontend或backend)
	http_request set-header X-Forwarded-Port %[dst_port]
	http_request add-header X-Forwared-Proto https if { ssl_fc }

架构

graph LR a[client] b[HAProxy</br>10.0.0.7] c[<b>m.shichu.org</b></br>Web1</br>10.0.0.17] d[<b>www.shichu.org</b></br>Web2</br>10.0.0.27] a--https---->b--http--->c b--http--->d

配置

  1. haproxy(10.0.0.7)

    • 证书制作
    mkir -p /etc/haproxy/ssl
    cd /etc/haproxy/ssl
    openssl req -x509 -newkey rsa:2048 -subj "/CN=www.shichu.org" -keyout haproxy.key -nodes -days 365 -out haproxy.crt
    cat haproxy.crt haproxy.key > haproxy.pem
    
    • https配置
    [root@shichu conf.d]# cat www.cfg 
    frontend shi_http_port
        bind 10.0.0.7:80
        ###### https setting ######
        bind 10.0.0.7:443 ssl crt /etc/haproxy/ssl/haproxy.pem  #证书路径
        redirect scheme https if !{ ssl_fc }  #注意{  }内空格
        http-request set-header X-forwarded-Port %[dst_port]
        http-request add-header X-forwarded-Proto https if { ssl_fc }
    
        mode http
        balance roundrobin
        log global
        option httplog
    
    ###### acl setting ######
    acl mobile_domain hdr_dom(host) -i m.shichu.org
    
    ###### acl hosts ######
    use_backend mobile_hosts if mobile_domain
    default_backend pc_hosts
    
    
    ##### backend hosts  #####
    backend mobile_hosts
        mode http
        server web1 10.0.0.17:80 check inter 2000 fall 3 rise 5
    
    backend pc_hosts
        mode http
        #http-request set-header X-forwarded-Port %[dst_port]也可加在此处
        #http-request add-header X-forwarded-Proto https if { ssl_fc }  
        server web2 10.0.0.27:80 check inter 2000 fall 3 rise 5
    

    重启服务

    systemctl restart haproxy

  2. Web1(10.0.0.17 m.shichu.org)

    [root@web1 html]# cat /usr/share/nginx/html/index.html 
    m.shichu.org  10.0.0.17
    
  3. Web2(10.0.0.27 www.shichu.org)

    [root@web2 ~]# cat /usr/share/nginx/html/index.html 
    10.0.0.27 
    

访问验证

五、总结tomcat的核心组件以及根目录结构

1. 目录结构

目录 说明
bin 服务启动、停止等相关程序和文件
conf 配置文件
lib 库文件
logs 日志记录
webapps 应用程序,应用部署目录
work jsp编译后的结果文件,建议提前访问生成

2. 配置文件

文件名 说明
server.xml 主配置文件
web.xml 每个webapp只有“部署”后才能被访问,它的部署方式通常由web.xml进行定义,其存放位置为WEB-INF/目录中;此文件为所有的webapps提供默认部署相关的配置,每个web应用也可以使用专用配置文件,来覆盖全局文件
context.xml 用于定义所有web应用均需加载的Context配置,此文件为所有的webapps提供默认配置,每个web应用也可以使用自已专用的配置,它通常由专用的配置文件context.xml来定义,其存放位置为WEB-INF/目录中,覆盖全局的文件
tomcat-user.xml 用户认证的账号和密码文件
catalina.policy 当使用security选项启动tomcat时,用于为tomcat设置安全策略
catalina.properties Tomcat 环境变量的配置,用于设定类加载器路径,以及一些与JVM调优相关参数
logging.properties Tomcat 日志系统相关的配置,可以修改日志级别和日志路径等

注意:配置文件大小写敏感

3. 组件

1)Tomcat 组件分类

顶级组件

Server,代表整个Tomcat容器,一台主机可以启动多tomcat实例,需要确保端口不要产生冲突

服务类组件

Service,实现组织Engine和Connector,建立两者之间关联关系, service 里面只能包含一个Engine

连接器组件

Connector,有HTTP(默认端口8080/tcp)、HTTPS(默认端口8443/tcp)、AJP(默认端口8009/tcp)协议的连接器,AJP(Apache Jserv protocol)是一种基于TCP的二进制通讯协议。

容器类

Engine、Host(虚拟主机)、Context(上下文件,解决路径映射)都是容器类组件,可以嵌入其它组件,内部配置如何运行应用程序。

内嵌类

可以内嵌到其他组件内,valve、logger、realm、loader、manager等。以logger举例,在不同容器组件内分别定义。

集群类

listener、cluster

2)Tomcat 内部组成

名称
说明
Server 服务器,Tomcat 运行的进程实例,一个Server中可以有多个service,但通常就一个
Service 服务,用来组织Engine和Connector的对应关系,一个service中只有一个Engine
Connector 连接器,负责客户端的HTTP、HTTPS、AJP等协议连接。一个Connector只属于某一个Engine
Engine 即引擎,用来响应并处理用户请求。一个Engine上可以绑定多个Connector
Host 即虚拟主机,可以实现多虚拟主机,例如使用不同的主机头区分
Context 应用的上下文,配置特定url路径映射和目录的映射关系:url => directory

每一个组件都由一个Java“类”实现,这些组件大体可分为以下几个类型:

顶级组件:Server

服务类组件:Service

连接器组件:http, https, ajp(apache jserv protocol)

容器类:Engine, Host, Context

被嵌套类:valve, logger, realm, loader, manager, ...

集群类组件:listener, cluster, ...

3)核心组件

4. Tomcat根目录结构

Tomcat中默认网站根目录是$CATALINA_BASE/webapps/,在Tomcat中部署主站应用程序和其他应用程序,和之前WEB服务程序不同。

在Tomcat的webapps目录中,有个非常特殊的目录ROOT,它就是网站默认根目录。

将eshop解压后的文件放到这个$CATALINA_BASE/webapps/ROOT中。
bbs解压后文件都放在$CATALINA_BASE/webapps/forum目录下。
$CATALINA_BASE/webapps下面的每个目录都对应一个Web应用,即WebApp

最终网站链接有以下对应关系

http://localhost/ 对应于eshop的应用WebApp,即$CATALINA_BASE/webapps/ROOT/目录
http://localhost/forum/ 对应于forum的应用WebApp,即$CATALINA_BASE/webapps/forum/

如果同时存在$CATALINA_BASE /webapps/ROOT/forum ,仍以$CATALINA_BASE/webapps/forum/ 优先生效;

每一个虚拟主机都可以使用appBase指令配置自己的站点目录,使用appBase目录下的ROOT目录作为主站目录。

六、tomcat实现多虚拟主机

centos7安装tomcat

yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
systemctl enable --now tomcat

修改server.xml配置文件

[root@shichu tomcat]# cat /usr/share/tomcat/conf/server.xml 
......
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log." suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />

      </Host>
      <Host name="node1.shichu.org" appBase="/data/webapps1" />		#添加node1、node2两行信息
      <Host name="node2.shichu.org" appBase="/data/webapps2" />
    </Engine>
  </Service>
</Server>

为node1、node2虚拟主机准备数据

创建目录

#创建目录
mkdir -pv /data/webapps{1,2}/ROOT

准备node1页面

[root@shichu tomcat]# cat /data/webapps1/ROOT/index.jsp
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
   <meta charset="utf-8">
   <title>node1</title>
</head>
<body>
node1
<br>
<%=request.getRequestURL()%>
</body>
</html>

准备node2页面

[root@shichu tomcat]# cat /data/webapps2/ROOT/index.jsp
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
   <meta charset="utf-8">
   <title>node2</title>
</head>
<body>
node2
<br>
<%=request.getRequestURL()%>
</body>
</html>

设置权限

chown -R tomcat:tomcat /data/webapps{1,2}/

重启tomcat

systemctl restart tomcat

验证

多虚拟主机配置说明

name 必须是主机名,用主机名来匹配
appBase 当前主机的网页根目录,是相对于 $CATALINA_HOME ,也可以使用绝对路径
unpackWARs 是否自动解压war格式
autoDeploy 热部署,自动加载并运行应用

七、nginx实现后端tomcat的负载均衡调度

架构

graph LR a[client] b[proxy.com</br>Nginx</br>10.0.0.100] c[tomcat1.com</br>Tomcat</br>10.0.0.17] d[tomcat2.com</br>Tomcat</br>10.0.0.27] a--->b b---->c b---->d

配置

  1. proxy(10.0.0.100)

    • 安装nginx

      yum install -y nginx

    • 修改hosts

      [root@proxy ~]# cat /etc/hosts
      #添加如下3行
      10.0.0.100  proxy.com
      10.0.0.17   tomcat1.com
      10.0.0.27   tomcat2.com
      
    • 修改/etc/nginx/nginx.conf

       
      http {
      #http块中添加upstream
      #修改server块内容
      ...
          upstream tomcat-server {
      	#ip_hash;
      	#hash $cookie_JSESSIONID;
              server tomcat1.com:8080;
              server tomcat2.com:8080;
          }
          server {
          ...
              location ~* \.(jsp|do)$ {
                  proxy_pass http://tomcat-server;
              }
          ...
          }
      ...
      }
      
    • 重启nginx

      nginx -s reload

  2. tomcat1(10.0.0.17)

    • 安装tomcat

      yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
      systemctl enable --now tomcat
      
    • 修改server.xml

      [root@t1 tomcat]# cat /usr/share/tomcat/conf/server.xml      
      ...
      #defaultHost修改为tomcat1.com
          <Engine name="Catalina" defaultHost="tomcat1.com"> 
      ...
            </Host>
      #添加如下一行
            <Host name="tomcat1.com" appBase="/data/webapps" autoDeploy="true" />
          </Engine>
        </Service>
      </Server>
      
      
    • 准备tomcat1.com页面

      [root@t1 tomcat]# cat /data/webapps/ROOT/index.jsp 
      <%@ page import="java.util.*" %>
      <!DOCTYPE html>
      <html lang="en">
      <head>
          <meta charset="UTF-8">
          <title>tomcat test</title>
      </head>
      <body>
      <div>On <%=request.getServerName() %></div>
      <div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div>
      <div>SessionID = <span style="color:blue"><%=session.getId() %></span></div>
      <%=new Date()%>
      </body>
      </html>
      
    • 重启tomat

      systemctl restart tomcat

  3. tomcat2(10.0.0.27)

    • 安装tomcat

      yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
      systemctl enable --now tomcat
      
    • 修改server.xml

      [root@t1 tomcat]# cat /usr/share/tomcat/conf/server.xml    
      ...
      #defaultHost修改为tomcat2.com
          <Engine name="Catalina" defaultHost="tomcat2.com"> 
      ...
            </Host>
      #添加如下一行
            <Host name="tomcat1.com" appBase="/data/webapps" autoDeploy="true" />
          </Engine>
        </Service>
      </Server>
      
      
    • 准备tomcat2.com页面

      [root@t1 tomcat]# cat /data/webapps/ROOT/index.jsp 
      <%@ page import="java.util.*" %>
      <!DOCTYPE html>
      <html lang="en">
      <head>
          <meta charset="UTF-8">
          <title>tomcat test</title>
      </head>
      <body>
      <div>On <%=request.getServerName() %></div>
      <div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div>
      <div>SessionID = <span style="color:blue"><%=session.getId() %></span></div>
      <%=new Date()%>
      </body>
      </html>
      
    • 重启tomat

      systemctl restart tomcat

验证

八、简述memcached的工作原理

Memcached 官网:http://memcached.org/

1. 说明

MemCache是一个高性能的分布式的内存对象缓存系统,用于各种动态应用以减轻数据库负担。它通过在内存中缓存数据和对象,来减少读取数据库的次数,从而提高动态、数据库驱动应用速度。MemCache会在内存中开辟一块空间,建立一个统一的巨大的hash表,hash表能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。

2. 工作原理

MemCached采用了C/S架构,在Server端启动后,以守护程序的方式,监听客户端的请求。启动时可以指定监听的IP(服务器的内网ip/外网ip)、端口号(所以做分布式测试时,一台服务器上可以启动多个不同端口号的MemCached进程)、使用的内存大小等关键参数。一旦启动,服务就会一直处于可用状态。
为了提高性能,MemCached缓存的数据全部存储在MemCached管理的内存中,所以重启服务器之后缓存数据会清空,不支持持久化。

3. 工作机制

1) 内存分配机制

应用程序运行需要使用内存存储数据,但对于一个缓存系统来说,申请内存、释放内存将十分频繁,非常容易导致大量内存碎片,最后导致无连续可用内存可用。

Memcached采用了Slab Allocator机制来分配、管理内存。

2)懒过期 Lazy Expiration

memcached不会监视数据是否过期,而是在取数据时才看是否过期,如果过期,把数据有效期限标识为0,并不清除该数据。以后可以覆盖该位置存储其它数据。

3)LRU

当内存不足时,memcached会使用LRU(Least Recently Used)机制来查找可用空间,分配给新记录使用。

4)集群

Memcached集群,称为基于客户端的分布式集群,即由客户端实现集群功能,即Memcached本身不支持集群。

Memcached集群内部并不互相通信,一切都需要客户端连接到Memcached服务器后自行组织这些节点,并决定数据存储的节点。

九、总结tomcat优化方法

1. 内存空间优化

JAVA_OPTS="-server -Xms4g -Xmx4g -XX:NewSize= -XX:MaxNewSize= "

-server:服务器模式
-Xms:堆内存初始化大小
-Xmx:堆内存空间上限
-XX:NewSize=:新生代空间初始化大小
-XX:MaxNewSize=:新生代空间最大值

示例

[root@centos7 ~]#vim /usr/local/tomcat/bin/catalina.sh
JAVA_OPTS="-server -Xms4g -Xmx4g -Xss512k -Xmn1g -

XX:CMSInitiatingOccupancyFraction=65 -XX:+AggressiveOpts -XX:+UseBiasedLocking -
XX:+DisableExplicitGC -XX:MaxTenuringThreshold=10 -XX:NewRatio=2 -
XX:PermSize=128m -XX:MaxPermSize=512m -XX:CMSFullGCsBeforeCompaction=5 -
XX:+ExplicitGCInvokesConcurrent -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -
XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -
XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods"

#一台tomcat服务器并发连接数不高,生产建议分配物理内存通常4G到8G较多,如果需要更多连接,一般会利用虚拟化技术实现多台tomcat

2. 线程池调整

[root@centos7 ~]#vim /usr/local/tomcat/conf/server.xml
......
<Connector port="8080" protocol="HTTP/1.1"  connectionTimeout="20000"
redirectPort="8443" />
......

常用属性:

3. Java压力测试工具

PerfMa 致力于打造一站式IT系统稳定性保障解决方案,专注于性能评测与调优、故障根因定位与解决,为企业提供一系列技术产品与专家服务,提升系统研发与运行质量。

官网:https://www.perfma.com/

社区地址:https://heapdump.cn/

十、java程序出现oom如何解决?什么场景下会出现oom?

JProfiler官网:http://www.ej-technologies.com/products/jprofiler/overview.html

JProfiler是一款功能强大的Java开发分析工具,它可以快速的帮助用户分析出存在的错误,软件还可对需要的显示类进行标记,包括了内存的分配情况和信息的视图等。

1. 堆内存不足

报错信息

java.lang.OutOfMemoryError: Java heap space

原因

解决方法

2. 永久代/元空间溢出

报错信息

java.lang.OutOfMemoryError: PermGen space
java.lang.OutOfMemoryError: Metaspace

原因

永久代是 HotSot 虚拟机对方法区的具体实现,存放了被虚拟机加载的类信息、常量、静态变量、JIT编译后的代码等。

JDK8后,元空间替换了永久代,元空间使用的是本地内存,还有其它细节变化:

出现永久代或元空间的溢出的原因可能有如下几种:

解决方法

永久代/元空间 溢出的原因比较简单,解决方法有如下几种:

3. GC overhead limit exceeded

报错信息

java.lang.OutOfMemoryError:GC overhead limit exceeded

原因
这个是JDK6新加的错误类型,一般都是堆太小导致的。
Sun 官方对此的定义:超过98%的时间用来做GC并且回收了不到2%的堆内存时会抛出此异常。

解决方法

4. 方法栈溢出

报错信息

java.lang.OutOfMemoryError : unable to create new native Thread

原因
出现这种异常,基本上都是创建的了大量的线程导致的。

解决方法

5. 非常规溢出

1)分配超大数组

报错信息

java.lang.OutOfMemoryError: Requested array size exceeds VM limit

原因
这种情况一般是由于不合理的数组分配请求导致的,在为数组分配内存之前,JVM 会执行一项检查。要分配的数组在该平台是否可以寻址(addressable),如果不能寻址(addressable)就会抛出这个错误。

解决方法

检查你的代码中是否有创建超大数组的地方。

2)swap区溢出

报错信息

java.lang.OutOfMemoryError: Out of swap space

原因
这种情况一般是操作系统导致的,可能的原因有:

解决方法

标签:HAProxy,haproxy,http,tomcat,Tomcat,10.0,server,80
来源: https://www.cnblogs.com/areke/p/16449200.html