HAProxy、Tomcat
作者:互联网
一、编译安装haproxy
一键安装脚本
#!/bin/bash
# 编译安装HAProxy
. /etc/init.d/functions
#HAproxy版本
HAProxy_version=haproxy-2.6.1
TAR=tar.gz
HAProxy=${HAProxy_version}.${TAR}
#HAProxy源码下载地址
HAProxy_url=http://www.haproxy.org/download/2.6/src/haproxy-2.6.1.tar.gz
# haproxy安装路径
HAProxy_install_DIR=/apps/haproxy
#lua版本
Lua_version=lua-5.3.5
TAR_lua=tar.gz
Lua=${Lua_version}.${TAR_lua}
#lua源码下载地址
Lua_url=http://www.lua.org/ftp/${Lua}
# CPU数量
CPUS=`lscpu|grep "^CPU(s)"|awk '{print $2}'`
# 系统类型
os_type=`grep "^NAME" /etc/os-release |awk -F'"| ' '{print $2}'`
# 系统版本号
os_version=`awk -F'"' '/^VERSION_ID/{print $2}' /etc/os-release`
color () {
if [[ $2 -eq 0 ]];then
echo -e "\e[1;32m$1\t\t\t\t\t\t[ OK ]\e[0;m"
else
echo $2
echo -e "\e[1;31m$1\t\t\t\t\t\t[ FAILED ]\e[0;m"
fi
}
download_lua (){
cd /opt
if [ -e ${Lua} ];then
color "lua安装包已存在" 0
else
color "开始下载lua安装包" 0
wget ${Lua_url}
if [ $? -ne 0 ];then
color "下载lua安装包失败,退出!" 1
exit 1
fi
fi
}
download_haproxy (){
cd /opt
if [ -e ${HAProxy} ];then
color "haproxy安装包已存在" 0
else
color "开始下载haproxy安装包" 0
wget ${HAProxy_url}
if [ $? -ne 0 ];then
color "下载haproxy安装包失败,退出!" 1
exit 1
fi
fi
}
update_lua (){
# 安装依赖包
yum -y install gcc readline-devel
# 解压源码包
tar -xvf /opt/${Lua} -C /usr/local/src
ln -s /usr/local/src/${Lua_version} /usr/local/src/lua
# 编译安装
cd /usr/local/src/lua
make linux test
}
install_haproxy (){
# 安装依赖包
yum -y install gcc openssl-devel pcre-devel systemd-devel
# 解压源码包
tar xvf /opt/${HAProxy} -C /usr/local/src
ln -s /usr/local/src/${HAProxy_version} /usr/local/src/haproxy
# 编译安装
cd /usr/local/src/haproxy
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/usr/local/src/lua/src/ LUA_LIB=/usr/local/src/lua/src/
make install PREFIX=${HAProxy_install_DIR}
ln -s ${HAProxy_install_DIR}/sbin/haproxy /usr/sbin/
# 准备服务启动配置文件
## 添加用户
useradd -r -s /sbin/nologin -d /var/lib/haproxy haproxy
mkdir -p /etc/haproxy
mkdir -p /var/lib/haproxy
## 准备service服务
cat > /usr/lib/systemd/system/haproxy.service <<EOF
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000
[Install]
WantedBy=multi-user.target
EOF
###准备haproxy配置文件
cat > /etc/haproxy/haproxy.cfg <<EOF
global
maxconn 100000
chroot ${HAProxy_install_DIR}
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
#uid 99
#gid 99
user haproxy
group haproxy
daemon
#nbproc 4
#cpu-map 1 0
#cpu-map 2 1
#cpu-map 3 2
#cpu-map 4 3
pidfile /var/lib/haproxy/haproxy.pid
log 127.0.0.1 local2 info
defaults
option http-keep-alive
option forwardfor
maxconn 100000
mode http
timeout connect 300000ms
timeout client 300000ms
timeout server 300000ms
listen stats
mode http
bind 0.0.0.0:9999
stats enable
log global
stats uri /haproxy-status
stats auth haadmin:123456
listen web_port
bind 0.0.0.0:80
mode http
log global
server web1 127.0.0.1:8080 check inter 3000 fall 2 rise 5
EOF
systemctl daemon-reload
systemctl enable --now haproxy
systemctl is-active haproxy
if [ $? -ne 0 ];then
color "haproxy服务启动失败!" !
exit 1
else
color "haproxy服务启动成功" 0
fi
}
download_lua
download_haproxy
update_lua
install_haproxy
exit 0
查看端口
[root@shichu opt]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2022-06-28 00:22:44 CST; 2min 7s ago
Process: 2077 ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q (code=exited, status=0/SUCCESS)
Main PID: 2079 (haproxy)
CGroup: /system.slice/haproxy.service
├─2079 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
└─2084 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
Jun 28 00:22:44 shichu systemd[1]: Starting HAProxy Load Balancer...
Jun 28 00:22:44 shichu systemd[1]: Started HAProxy Load Balancer.
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE] (2079) : haproxy version is 2.6.1-f6ca66d
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE] (2079) : path to executable is /usr/sbin/haproxy
Jun 28 00:22:44 shichu haproxy[2079]: [ALERT] (2079) : config : parsing [/etc/haproxy/haproxy.cfg:15] : 'pidfile' already specified. Continuing.
Jun 28 00:22:44 shichu haproxy[2079]: [WARNING] (2079) : config : ca-file: '@system-ca' couldn't load '/etc/pki/tls/certs/ca-bundle.trust.crt'
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE] (2079) : New worker (2084) forked
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE] (2079) : Loading success.
Jun 28 00:22:44 shichu haproxy[2079]: [WARNING] (2084) : Server web_port/web1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 5ms. 0 active and 0 back...ining in queue.
Jun 28 00:22:44 shichu haproxy[2079]: [ALERT] (2084) : proxy 'web_port' has no server available!
Hint: Some lines were ellipsized, use -l to show in full.
[root@shichu opt]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 900/sshd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1052/master
tcp 0 0 0.0.0.0:9999 0.0.0.0:* LISTEN 2084/haproxy
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 634/rpcbind
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 2084/haproxy
tcp6 0 0 :::22 :::* LISTEN 900/sshd
tcp6 0 0 ::1:25 :::* LISTEN 1052/master
tcp6 0 0 :::111 :::* LISTEN 634/rpcbind
二、总结haproxy各调度算法的实现方式及其应用场景
1. 静态算法
按照事先定义好的规则轮询公平调度,不关心后端服务器的当前负载、连接数和响应速度等,且无法实时修改权重(只能为0和1,不支持其它值),只能靠重启HAProxy生效。
-
static-rr
基于权重的轮询调度,不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其他值)及后端服务器慢启动,其后端主机数量没有限制,相当于LVS中的wrr。
配置示例
listen web_host bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010 mode http log global balance static-rr server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5 server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5
-
first
根据服务器在列表中的位置,自上而下进行调度,但是其只会当第一台服务器的连接数达到上限,新请求才会分配给下一台服务,因此会忽略服务器的权重设置,此方式使用较少。
不支持使用socat进行动态修改权重,可以设置0和1,可以设置其他值但无效
配置示例
listen web_host bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010 mode http log global balance first server web1 10.0.0.17:80 maxconn 2 weight 1 check inter 3000 fall 2 rise 5 server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
2. 动态算法
动态算法:基于后端服务器状态进行调度适当调整,新请求将优先调度至当前负载较低的服务器,且权重可以在haproxy运行时动态调整无需重启。
-
roundronbin
基于权重的轮询动态调度算法,支持权重的运行时调整,不同于lvs中的rr轮询模式,HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数),其每个后端backend中对多支持4095个real server,支持对real server权重动态调整,roundrobin为默认调度算法,此算法使用广泛。
配置示例
listen web_host bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010 mode http log global balance roundrobin server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5 server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5
支持动态调整权重
# echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock 1 (initial 1) # echo "set weight web_host/web1 3" | socat stdio /var/lib/haproxy/haproxy.sock # echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock 3 (initial 1)
-
leastconn
加权的最少连接的动态,支持权重的运行时调整和慢启动,即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接),比较适合长连接的场景使用,比如:MySQL等场景。
配置示例
listen web_host bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010 mode http log global balance leastconn server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5 server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
-
random
在1.9版本开始增加 random的负载平衡算法,其基于随机数作为一致性hash的key,随机负载平衡对于大型服务器场或经常添加或删除服务器非常有用,支持weight的动态调整,weight较大的主机有更大概率获取新请求。
配置示例
listen web_host bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010 mode http log global balance random server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5 server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
3. 其他算法
即可作为静态算法,又可以通过选项成为动态算法
1)souce
源地址hash,基于用户源地址hash并将请求转发到后端服务器,后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时,会导致很多用户的请求转发至新的后端服务器,默认为静态方式,但是可以通过hash-type支持的选项更改。
这个算法一般是在不插入Cookie的TCP模式下使用,也可给拒绝会话cookie的客户提供最好的会话粘性,适用于session会话保持但不支持cookie和缓存的场景。
源地址有两种转发客户端请求到后端服务器的服务器选取计算方式,分别是取模法和一致性hash。
-
map-based取模法
取模法,对source即源地址进行hash计算,再基于服务器总权重的取模,最终结果决定将此请求转发至对应的后端服务器。此方法是静态的,即不支持在线调整权重,不支持慢启动,可实现对后端服务器均衡调度。缺点是当服务器的总权重发生变化时,即有服务器上线或下线,都会因总权重发生变化而导致调度结果整体改变,hash-type 指定的默认值为此算法
map-based算法:基于权重取模,hash(source_ip)%所有后端服务器相加的总权重
配置示例
listen web_host bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010 mode tcp log global balance source hash-type map-based server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 3 server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 3 #不支持动态调整权重值 [root@haproxy ~]#echo "set weight web_host/10.0.0.27 10" | socat stdio /var/lib/haproxy/haproxy.sock Backend is using a static LB algorithm and only accepts weights '0%' and '100%'. #只能动态上线和下线 [root@haproxy ~]#echo "set weight web_host/10.0.0.27 0" | socat stdio /var/lib/haproxy/haproxy.sock [root@haproxy conf.d]#echo "get weight web_host/10.0.0.27" | socat stdio /var/lib/haproxy/haproxy.sock 0 (initial 1)
-
一致性hash
一致性哈希,当服务器的总权重发生变化时,对调度结果影响是局部的,不会引起大的变动,hash(o)mod n ,该hash算法是动态的,支持使用 socat等工具进行在线权重调整,支持慢启动。
算法:
1、key1=hash(source_ip)%(2^32) [0---4294967295] 2、keyA=hash(后端服务器虚拟ip)%(2^32) 3、将key1和keyA都放在hash环上,将用户请求调度到离key1最近的keyA对应的后端服务器
hash环偏斜问题
增加虚拟服务器IP数量,比如:一个后端服务器根据权重为1生成1000个虚拟IP,再hash。而后端服务器权重为2则生成2000的虚拟IP,再bash, 最终在hash环上生成3000个节点,从而解决hash环偏斜问题。
配置示例
listen web_host bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010 mode tcp log global balance source hash-type consistent server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5 server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
2)uri
基于对用户请求的URI的左半部分或整个uri做hash,再将hash结果对总权重进行取模后,根据最终结果将请求转发到后端指定服务器,适用于后端是缓存服务器场景,默认是静态算法,也可以通过hash-type指定map-based和consistent,来定义使用取模法还是一致性hash。
注意:此算法基于应用层,所以只支持 mode http ,不支持 mode tcp
<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
左半部分:/<path>;<params>
整个uri:/<path>;<params>?<query>#<frag>
uri取模法配置示例
listen web_host
bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
mode http
log global
balance uri
server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
uri 一致性hash配置示例
listen web_host
bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
mode http
log global
balance uri
hash-type consistent
server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
3)url_param
url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算,并由服务器总权重相除以后派发至某挑出的服务器;通常用于追踪用户,以确保来自同一个用户的请求始终发往同一个real server,如果无没key,将按roundrobin算法。
# 假设:
url = http://www.magedu.com/foo/bar/index.php?key=value
# 则:
host = "www.magedu.com"
url_param = "key=value"
取模法配置示例
listen web_host
bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
mode http
log global
balance url_param userid #url_param hash
server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
一致性hash配置示例
listen web_host
bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
mode http
log global
balance url_param userid #对url_param的值取hash
hash-type consistent
server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
4)hdr
针对用户每个http头部(header)请求中的指定信息做hash,此处由name指定的http首部将会被取出并做hash计算,然后由服务器总权重取模以后派发至某挑出的服务器,如果无有效值,则会使用默认的轮询调度。
取模法配置示例
listen web_host
bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
mode http
log global
balance hdr(User-Agent)
#balance hdr(host)
server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
一致性hash配置示例
listen web_host
bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
mode http
log global
balance hdr(User-Agent)
hash-type consistent
server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
5)rdp-cookie
rdp-cookie对远windows远程桌面的负载,使用cookie保持会话,默认是静态,也可以通过hash-type指定map-based和consistent,来定义使用取模法还是一致性hash。
取模法配置示例
listen RDP
bind 10.0.0.7:3389
balance rdp-cookie
mode tcp
server rdp0 10.0.0.17:3389 check fall 3 rise 5 inter 2000 weight 1
一致性hash配置示例
listen magedu_RDP_3389
bind 172.16.0.100:3389
balance rdp-cookie
hash-type consistent
mode tcp
server rdp0 10.0.0.200:3389 check fall 3 rise 5 inter 2000 weight 1
注意:基于iptables实现RDP协议转发,必须开启ip转发功能: net.ipv4.ip_forward = 1。
4. 算法总结
#静态
static-rr--------->tcp/http
first------------->tcp/http
#动态
roundrobin-------->tcp/http
leastconn--------->tcp/http
random------------>tcp/http
#以下静态和动态取决于hash_type是否consistent
source------------>tcp/http
Uri--------------->http
url_param--------->http
hdr--------------->http
rdp-cookie-------->tcp
5. 适用场景
static-rr #做session共享的web集群
first #使用较少
roundrobin #默认调度算法
leastconn #数据库
random #对于大型服务器场或经常添加或删除服务器非常有用
source #基于客户端公网IP的会话保持
Uri #缓存服务器,CDN服务商,蓝汛、百度、阿里云、腾讯
url_param #可以实现session保持
hdr #基于客户端请求报文头部做下一步处理
rdp-cookie #基于Windows主机,很少使用
三、使用haproxy的ACL实现基于文件后缀名的动静分离
访问控制列表(ACL,Access Control Lists)是一种基于包过滤的访问控制技术,它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配),即对接收到的报文进行匹配和过滤,基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作,比如允许其通过或丢弃。
官网帮助:http://cbonte.github.io/haproxy-dconv/2.1/configuration.html#7
1. ACL配置选项
acl <aclname> <criterion> [flags] [operator] [<value>]
acl 名称 匹配规范 匹配模式 具体操作符 操作对象类型
1) Name
acl image_service hdr_dom(host) -i img.magedu.com
#ACL名称,可以使用大字母A-Z、小写字母a-z、数字0-9、冒号:、点.、中横线和下划线,并且严格区分大小写,比如:my_acl和My_Acl就是两个完全不同的acl
2) criterion
定义ACL匹配规范,即:判断条件
hdr string,提取在一个HTTP请求报文的首部
hdr([<name> [,<occ>]]):完全匹配字符串,header的指定信息,<occ> 表示在多值中使用的值的出现次数
hdr_beg([<name> [,<occ>]]):前缀匹配,header中指定匹配内容的begin
hdr_end([<name> [,<occ>]]):后缀匹配,header中指定匹配内容end
hdr_dom([<name> [,<occ>]]):域匹配,header中的domain name
hdr_dir([<name> [,<occ>]]):路径匹配,header的uri路径
hdr_len([<name> [,<occ>]]):长度匹配,header的长度匹配
hdr_reg([<name> [,<occ>]]):正则表达式匹配,自定义表达式(regex)模糊匹配
hdr_sub([<name> [,<occ>]]):子串匹配,header中的uri模糊匹配
#示例:
hdr(<string>) 用于测试请求头部首部指定内容
hdr_dom(host) 请求的host名称,如 www.magedu.com
hdr_beg(host) 请求的host开头,如 www. img. video. download. ftp.
hdr_end(host) 请求的host结尾,如 .com .net .cn
#示例:
acl bad_agent hdr_sub(User-Agent) -i curl wget
block if bad_agent
#有些功能是类似的,比如以下几个都是匹配用户请求报文中host的开头是不是www
acl short_form hdr_beg(host) www.
acl alternate1 hdr_beg(host) -m beg www.
acl alternate2 hdr_dom(host) -m beg www.
acl alternate3 hdr(host) -m beg www.
base : string
#返回第一个主机头和请求的路径部分的连接,该请求从主机名开始,并在问号之前结束,对虚拟主机有用
<scheme>://<user>:<password>@#<host>:<port>/<path>;<params>#?<query>#<frag>
base : exact string match
base_beg : prefix match
base_dir : subdir match
base_dom : domain match
base_end : suffix match
base_len : length match
base_reg : regex match
base_sub : substring match
path : string
#提取请求的URL路径,该路径从第一个斜杠开始,并在问号之前结束(无主机部分)
<scheme>://<user>:<password>@<host>:<port>#/<path>;<params>#?<query>#<frag>
path : exact string match
path_beg : prefix match #请求的URL开头,如/static、/images、/img、/css
path_end : suffix match #请求的URL中资源的结尾,如 .gif .png .css .js .jpg .jpeg
path_dom : domain match
path_dir : subdir match
path_len : length match
path_reg : regex match
path_sub : substring match
#示例:
path_beg -i /haproxy-status/
path_end .jpg .jpeg .png .gif
path_reg ^/images.*\.jpeg$
path_sub image
path_dir jpegs
path_dom magedu
url : string
#提取请求中的整个URL。一个典型的应用是具有预取能力的缓存,以及需要从数据库聚合多个信息并将它们保
存在缓存中的网页门户入口,推荐使用path
url :exact string match
url_beg : prefix match
url_dir : subdir match
url_dom : domain match
url_end : suffix match
url_len : length match
url_reg : regex match
url_sub : substring match
dst #目标IP
dst_port #目标PORT
src #源IP
src_port #源PORT
#示例:
acl invalid_src src 10.0.0.7 192.168.1.0/24
acl invalid_src src 172.16.0.0/24
acl invalid_port src_port 0:1023
status : integer #返回在响应报文中的状态码
#七层协议
acl valid_method method GET HEAD
http-request deny if ! valid_method
3) flags
ACL匹配模式
-i 不区分大小写
-m 使用指定的pattern匹配方法
-n 不做DNS解析
-u 禁止acl重名,否则多个同名ACL匹配或关系
4) operator
ACL 操作符
整数比较:eq、ge、gt、le、lt
字符比较:
- exact match (-m str) :字符串必须完全匹配模式
- substring match (-m sub) :在提取的字符串中查找模式,如果其中任何一个被发现,ACL将匹配
- prefix match (-m beg) :在提取的字符串首部中查找模式,如果其中任何一个被发现,ACL将匹配
- suffix match (-m end) :将模式与提取字符串的尾部进行比较,如果其中任何一个匹配,则ACL进
行匹配
- subdir match (-m dir) :查看提取出来的用斜线分隔(“/")的字符串,如其中任一个匹配,则
ACL进行匹配
- domain match (-m dom) :查找提取的用点(“.")分隔字符串,如果其中任何一个匹配,则ACL进
行匹配
5) value
value的类型
The ACL engine can match these types against patterns of the following types :
- Boolean #布尔值
- integer or integer range #整数或整数范围,比如用于匹配端口范围
- IP address / network #IP地址或IP范围, 192.168.0.1 ,192.168.0.1/24
- string--> www.magedu.com
exact #精确比较
substring #子串
suffix #后缀比较
prefix #前缀比较
subdir #路径, /wp-includes/js/jquery/jquery.js
domain #域名,www.magedu.com
- regular expression #正则表达式
- hex block #16进制
6)多个ACL的组合调用方式
多个ACL的逻辑处理
与:隐式(默认)使用
或:使用“or" 或 “||"表示
否定:使用 "!" 表示
多个ACL调用方式:
#示例:
if valid_src valid_port #与关系,ACL中A和B都要满足为true,默认为与
if invalid_src || invalid_port #或,ACL中A或者B满足一个为true
if ! invalid_src #非,取反,不满足ACL才为true
2. 架构
graph LR A[HAPoxy</br>10.0.0.7] B[static-web</br>10.0.0.17] C[php-web</br>10.0.0.27] D[Client] A--->B A--->C D--->A3. 配置
-
HAProxy(10.0.0.7)
- 配置/etc/haproxy/conf.d/shi.cfg
frontend shi_http_port bind 10.0.0.7:80 mode http balance roundrobin log global option httplog #acl setting acl acl_static path_end -i .gif .png .css .js .jpg .jpeg acl acl_php path_end -i .php #acl hosts use_backend static_hosts if acl_static use_backend php_hosts if acl_php default_backend default_hosts #backend hosts #static服务器配置 backend static_hosts mode http server web1 10.0.0.17 check inter 2000 fall 3 rise 5 #php服务器配置 backend php_hosts mode http server web2 10.0.0.27 check inter 2000 fall 3 rise 5 #默认服务器配置 backend default_hosts mode http server web2 10.0.0.27 check inter 2000 fall 3 rise 5
- 修改service文件
[root@shichu haproxy]# cat /lib/systemd/system/haproxy.service [Unit] Description=HAProxy Load Balancer After=syslog.target network.target [Service] #下面两行添加子配置文件路径/etc/haproxy/conf.d/ ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -c -q ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -p /var/lib/haproxy/haproxy.pid ExecReload=/bin/kill -USR2 $MAINPID LimitNOFILE=100000 [Install] WantedBy=multi-user.target
- 重启服务
systemctl daemon-reload systemctl restart haproxy
-
static-web(10.0.0.17)
-
安装nginx
-
上传static.jpg图片至/usr/share/nginx/html/目录下
-
-
php-web(10.0.0.27)
-
安装nginx
-
准备页面
#index.html [root@shichu html]# cat index.html 10.0.0.27 #test.php [root@shichu html]# cat test.php <?php echo "<h1>http://10.0.0.27/test.php</h1>\n"; ?>
-
4. 访问验证
-
访问图片调度至static服务器(10.0.0.17)
-
访问php类型文件调度至php服务器(10.0.0.27)
- 访问其他类型文件调度至默认服务器(10.0.0.27)
四、haproxy https实现
haproxy可以实现https的证书安全,从用户到haproxy为https,从haproxy到后端服务器用http通信但基于性能考虑,生产中证书都是在后端服务器比如nginx上实现。
#配置HAProxy支持https协议,支持ssl会话;
bind *:443 ssl crt /PATH/TO/SOME_PEM_FILE
#指令 crt 后证书文件为PEM格式,需要同时包含证书和所有私钥
cat demo.key demo.crt > demo.pem
#把80端口的请求重向定443
bind *:80
redirect scheme https if !{ ssl_fc }
#向后端传递用户请求的协议和端口(frontend或backend)
http_request set-header X-Forwarded-Port %[dst_port]
http_request add-header X-Forwared-Proto https if { ssl_fc }
架构
graph LR a[client] b[HAProxy</br>10.0.0.7] c[<b>m.shichu.org</b></br>Web1</br>10.0.0.17] d[<b>www.shichu.org</b></br>Web2</br>10.0.0.27] a--https---->b--http--->c b--http--->d配置
-
haproxy(10.0.0.7)
- 证书制作
mkir -p /etc/haproxy/ssl cd /etc/haproxy/ssl openssl req -x509 -newkey rsa:2048 -subj "/CN=www.shichu.org" -keyout haproxy.key -nodes -days 365 -out haproxy.crt cat haproxy.crt haproxy.key > haproxy.pem
- https配置
[root@shichu conf.d]# cat www.cfg frontend shi_http_port bind 10.0.0.7:80 ###### https setting ###### bind 10.0.0.7:443 ssl crt /etc/haproxy/ssl/haproxy.pem #证书路径 redirect scheme https if !{ ssl_fc } #注意{ }内空格 http-request set-header X-forwarded-Port %[dst_port] http-request add-header X-forwarded-Proto https if { ssl_fc } mode http balance roundrobin log global option httplog ###### acl setting ###### acl mobile_domain hdr_dom(host) -i m.shichu.org ###### acl hosts ###### use_backend mobile_hosts if mobile_domain default_backend pc_hosts ##### backend hosts ##### backend mobile_hosts mode http server web1 10.0.0.17:80 check inter 2000 fall 3 rise 5 backend pc_hosts mode http #http-request set-header X-forwarded-Port %[dst_port]也可加在此处 #http-request add-header X-forwarded-Proto https if { ssl_fc } server web2 10.0.0.27:80 check inter 2000 fall 3 rise 5
重启服务
systemctl restart haproxy
-
Web1(10.0.0.17 m.shichu.org)
[root@web1 html]# cat /usr/share/nginx/html/index.html m.shichu.org 10.0.0.17
-
Web2(10.0.0.27 www.shichu.org)
[root@web2 ~]# cat /usr/share/nginx/html/index.html 10.0.0.27
访问验证
- 访问m.shichu.org跳转至web1服务器
- 访问www.shichu.org跳转至web2服务器
五、总结tomcat的核心组件以及根目录结构
1. 目录结构
目录 | 说明 |
---|---|
bin | 服务启动、停止等相关程序和文件 |
conf | 配置文件 |
lib | 库文件 |
logs | 日志记录 |
webapps | 应用程序,应用部署目录 |
work | jsp编译后的结果文件,建议提前访问生成 |
2. 配置文件
文件名 | 说明 |
---|---|
server.xml | 主配置文件 |
web.xml | 每个webapp只有“部署”后才能被访问,它的部署方式通常由web.xml进行定义,其存放位置为WEB-INF/目录中;此文件为所有的webapps提供默认部署相关的配置,每个web应用也可以使用专用配置文件,来覆盖全局文件 |
context.xml | 用于定义所有web应用均需加载的Context配置,此文件为所有的webapps提供默认配置,每个web应用也可以使用自已专用的配置,它通常由专用的配置文件context.xml来定义,其存放位置为WEB-INF/目录中,覆盖全局的文件 |
tomcat-user.xml | 用户认证的账号和密码文件 |
catalina.policy | 当使用security选项启动tomcat时,用于为tomcat设置安全策略 |
catalina.properties | Tomcat 环境变量的配置,用于设定类加载器路径,以及一些与JVM调优相关参数 |
logging.properties | Tomcat 日志系统相关的配置,可以修改日志级别和日志路径等 |
注意:配置文件大小写敏感
3. 组件
1)Tomcat 组件分类
顶级组件
Server,代表整个Tomcat容器,一台主机可以启动多tomcat实例,需要确保端口不要产生冲突
服务类组件
Service,实现组织Engine和Connector,建立两者之间关联关系, service 里面只能包含一个Engine
连接器组件
Connector,有HTTP(默认端口8080/tcp)、HTTPS(默认端口8443/tcp)、AJP(默认端口8009/tcp)协议的连接器,AJP(Apache Jserv protocol)是一种基于TCP的二进制通讯协议。
容器类
Engine、Host(虚拟主机)、Context(上下文件,解决路径映射)都是容器类组件,可以嵌入其它组件,内部配置如何运行应用程序。
内嵌类
可以内嵌到其他组件内,valve、logger、realm、loader、manager等。以logger举例,在不同容器组件内分别定义。
集群类
listener、cluster
2)Tomcat 内部组成
名称 |
说明 |
---|---|
Server | 服务器,Tomcat 运行的进程实例,一个Server中可以有多个service,但通常就一个 |
Service | 服务,用来组织Engine和Connector的对应关系,一个service中只有一个Engine |
Connector | 连接器,负责客户端的HTTP、HTTPS、AJP等协议连接。一个Connector只属于某一个Engine |
Engine | 即引擎,用来响应并处理用户请求。一个Engine上可以绑定多个Connector |
Host | 即虚拟主机,可以实现多虚拟主机,例如使用不同的主机头区分 |
Context | 应用的上下文,配置特定url路径映射和目录的映射关系:url => directory |
每一个组件都由一个Java“类”实现,这些组件大体可分为以下几个类型:
顶级组件:Server
服务类组件:Service
连接器组件:http, https, ajp(apache jserv protocol)
容器类:Engine, Host, Context
被嵌套类:valve, logger, realm, loader, manager, ...
集群类组件:listener, cluster, ...
3)核心组件
-
Tomcat启动一个Server进程。可以启动多个Server,即tomcat的多实例, 但一般只启动一个
-
创建一个Service提供服务。可以创建多个Service,但一般也只创建一个
每个Service中,是Engine和其连接器Connector的关联配置
-
可以为这个Service提供多个连接器Connector,这些Connector使用了不同的协议,绑定了不同的端口。其作用就是处理来自客户端的不同的连接请求或响应
-
Service 内部还定义了Engine,引擎才是真正的处理请求的入口,其内部定义多个虚拟主机Host
Engine对请求头做了分析,将请求发送给相应的虚拟主机
如果没有匹配,数据就发往Engine上的defaultHost缺省虚拟主机
Engine上的缺省虚拟主机可以修改
-
Host 定义虚拟主机,虚拟主机有name名称,通过名称匹配
-
Context 定义应用程序单独的路径映射和配置
4. Tomcat根目录结构
Tomcat中默认网站根目录是$CATALINA_BASE/webapps/
,在Tomcat中部署主站应用程序和其他应用程序,和之前WEB服务程序不同。
在Tomcat的webapps目录中,有个非常特殊的目录ROOT,它就是网站默认根目录。
将eshop解压后的文件放到这个$CATALINA_BASE/webapps/ROOT中。
bbs解压后文件都放在$CATALINA_BASE/webapps/forum目录下。
$CATALINA_BASE/webapps下面的每个目录都对应一个Web应用,即WebApp
最终网站链接有以下对应关系
http://localhost/ 对应于eshop的应用WebApp,即$CATALINA_BASE/webapps/ROOT/目录
http://localhost/forum/ 对应于forum的应用WebApp,即$CATALINA_BASE/webapps/forum/
如果同时存在$CATALINA_BASE /webapps/ROOT/forum
,仍以$CATALINA_BASE/webapps/forum/
优先生效;
每一个虚拟主机都可以使用appBase指令配置自己的站点目录,使用appBase目录下的ROOT目录作为主站目录。
六、tomcat实现多虚拟主机
centos7安装tomcat
yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
systemctl enable --now tomcat
修改server.xml配置文件
[root@shichu tomcat]# cat /usr/share/tomcat/conf/server.xml
......
<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
prefix="localhost_access_log." suffix=".txt"
pattern="%h %l %u %t "%r" %s %b" />
</Host>
<Host name="node1.shichu.org" appBase="/data/webapps1" /> #添加node1、node2两行信息
<Host name="node2.shichu.org" appBase="/data/webapps2" />
</Engine>
</Service>
</Server>
为node1、node2虚拟主机准备数据
创建目录
#创建目录
mkdir -pv /data/webapps{1,2}/ROOT
准备node1页面
[root@shichu tomcat]# cat /data/webapps1/ROOT/index.jsp
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>node1</title>
</head>
<body>
node1
<br>
<%=request.getRequestURL()%>
</body>
</html>
准备node2页面
[root@shichu tomcat]# cat /data/webapps2/ROOT/index.jsp
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>node2</title>
</head>
<body>
node2
<br>
<%=request.getRequestURL()%>
</body>
</html>
设置权限
chown -R tomcat:tomcat /data/webapps{1,2}/
重启tomcat
systemctl restart tomcat
验证
多虚拟主机配置说明
name 必须是主机名,用主机名来匹配
appBase 当前主机的网页根目录,是相对于 $CATALINA_HOME ,也可以使用绝对路径
unpackWARs 是否自动解压war格式
autoDeploy 热部署,自动加载并运行应用
七、nginx实现后端tomcat的负载均衡调度
架构
graph LR a[client] b[proxy.com</br>Nginx</br>10.0.0.100] c[tomcat1.com</br>Tomcat</br>10.0.0.17] d[tomcat2.com</br>Tomcat</br>10.0.0.27] a--->b b---->c b---->d配置
-
proxy(10.0.0.100)
-
安装nginx
yum install -y nginx
-
修改hosts
[root@proxy ~]# cat /etc/hosts #添加如下3行 10.0.0.100 proxy.com 10.0.0.17 tomcat1.com 10.0.0.27 tomcat2.com
-
修改/etc/nginx/nginx.conf
http { #http块中添加upstream #修改server块内容 ... upstream tomcat-server { #ip_hash; #hash $cookie_JSESSIONID; server tomcat1.com:8080; server tomcat2.com:8080; } server { ... location ~* \.(jsp|do)$ { proxy_pass http://tomcat-server; } ... } ... }
-
重启nginx
nginx -s reload
-
-
tomcat1(10.0.0.17)
-
安装tomcat
yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp systemctl enable --now tomcat
-
修改server.xml
[root@t1 tomcat]# cat /usr/share/tomcat/conf/server.xml ... #defaultHost修改为tomcat1.com <Engine name="Catalina" defaultHost="tomcat1.com"> ... </Host> #添加如下一行 <Host name="tomcat1.com" appBase="/data/webapps" autoDeploy="true" /> </Engine> </Service> </Server>
-
准备tomcat1.com页面
[root@t1 tomcat]# cat /data/webapps/ROOT/index.jsp <%@ page import="java.util.*" %> <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>tomcat test</title> </head> <body> <div>On <%=request.getServerName() %></div> <div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div> <div>SessionID = <span style="color:blue"><%=session.getId() %></span></div> <%=new Date()%> </body> </html>
-
重启tomat
systemctl restart tomcat
-
-
tomcat2(10.0.0.27)
-
安装tomcat
yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp systemctl enable --now tomcat
-
修改server.xml
[root@t1 tomcat]# cat /usr/share/tomcat/conf/server.xml ... #defaultHost修改为tomcat2.com <Engine name="Catalina" defaultHost="tomcat2.com"> ... </Host> #添加如下一行 <Host name="tomcat1.com" appBase="/data/webapps" autoDeploy="true" /> </Engine> </Service> </Server>
-
准备tomcat2.com页面
[root@t1 tomcat]# cat /data/webapps/ROOT/index.jsp <%@ page import="java.util.*" %> <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>tomcat test</title> </head> <body> <div>On <%=request.getServerName() %></div> <div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div> <div>SessionID = <span style="color:blue"><%=session.getId() %></span></div> <%=new Date()%> </body> </html>
-
重启tomat
systemctl restart tomcat
-
验证
八、简述memcached的工作原理
Memcached 官网:http://memcached.org/
1. 说明
MemCache是一个高性能的分布式的内存对象缓存系统,用于各种动态应用以减轻数据库负担。它通过在内存中缓存数据和对象,来减少读取数据库的次数,从而提高动态、数据库驱动应用速度。MemCache会在内存中开辟一块空间,建立一个统一的巨大的hash表,hash表能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。
- Memcached 只支持能序列化的数据类型,不支持持久化,基于Key-Value的内存缓存系统
- memcached 虽然没有像redis所具备的数据持久化功能,比如RDB和AOF都没有,但是可以通过做集群同步的方式,让各memcached服务器的数据进行同步,从而实现数据的一致性,即保证各memcached的数据是一样的,即使有任何一台 memcached 发生故障,只要集群中有一台 memcached 可用就不会出现数据丢失,当其他memcached 重新加入到集群的时候,可以自动从有数据的memcached 当中自动获取数据并提供服务。
- Memcached 借助了操作系统的 libevent 工具做高效的读写。libevent是个程序库,它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加,也能发挥高性能。memcached使用这个libevent库,因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。
- Memcached 支持最大的内存存储对象为1M,超过1M的数据可以使用客户端压缩或拆分报包放到多个key中,比较大的数据在进行读取的时候需要消耗的时间比较长,memcached 最适合保存用户的session实现session共享。
- Memcached存储数据时, Memcached会去申请1MB的内存, 把该块内存称为一个slab, 也称为一个page
- Memcached 支持多种开发语言,包括:JAVA,C,Python,PHP,C#,Ruby,Perl等
2. 工作原理
MemCached采用了C/S架构,在Server端启动后,以守护程序的方式,监听客户端的请求。启动时可以指定监听的IP(服务器的内网ip/外网ip)、端口号(所以做分布式测试时,一台服务器上可以启动多个不同端口号的MemCached进程)、使用的内存大小等关键参数。一旦启动,服务就会一直处于可用状态。
为了提高性能,MemCached缓存的数据全部存储在MemCached管理的内存中,所以重启服务器之后缓存数据会清空,不支持持久化。
3. 工作机制
1) 内存分配机制
应用程序运行需要使用内存存储数据,但对于一个缓存系统来说,申请内存、释放内存将十分频繁,非常容易导致大量内存碎片,最后导致无连续可用内存可用。
Memcached采用了Slab Allocator机制来分配、管理内存。
-
Page:分配给Slab的内存空间,默认为1MB,分配后就得到一个Slab。Slab分配之后内存按照固定字节大小等分成chunk。
-
Chunk:用于缓存记录k/v值的内存空间。Memcached会根据数据大小选择存到哪一个chunk中,假设chunk有128bytes、64bytes等多种,数据只有100bytes存储在128bytes中,存在少许浪费。
Chunk最大就是Page的大小,即一个Page中就一个Chunk
-
Slab Class:Slab按照Chunk的大小分组,就组成不同的Slab Class, 第一个Chunk大小为 96B的Slab为Class1,Chunk 120B为Class 2,如果有100bytes要存,那么Memcached会选择下图中SlabClass 2 存储,因为它是120bytes的Chunk。Slab之间的差异可以使用Growth Factor 控制,默认1.25。
2)懒过期 Lazy Expiration
memcached不会监视数据是否过期,而是在取数据时才看是否过期,如果过期,把数据有效期限标识为0,并不清除该数据。以后可以覆盖该位置存储其它数据。
3)LRU
当内存不足时,memcached会使用LRU(Least Recently Used)机制来查找可用空间,分配给新记录使用。
4)集群
Memcached集群,称为基于客户端的分布式集群,即由客户端实现集群功能,即Memcached本身不支持集群。
Memcached集群内部并不互相通信,一切都需要客户端连接到Memcached服务器后自行组织这些节点,并决定数据存储的节点。
九、总结tomcat优化方法
1. 内存空间优化
JAVA_OPTS="-server -Xms4g -Xmx4g -XX:NewSize= -XX:MaxNewSize= "
-server:服务器模式
-Xms:堆内存初始化大小
-Xmx:堆内存空间上限
-XX:NewSize=:新生代空间初始化大小
-XX:MaxNewSize=:新生代空间最大值
示例
[root@centos7 ~]#vim /usr/local/tomcat/bin/catalina.sh
JAVA_OPTS="-server -Xms4g -Xmx4g -Xss512k -Xmn1g -
XX:CMSInitiatingOccupancyFraction=65 -XX:+AggressiveOpts -XX:+UseBiasedLocking -
XX:+DisableExplicitGC -XX:MaxTenuringThreshold=10 -XX:NewRatio=2 -
XX:PermSize=128m -XX:MaxPermSize=512m -XX:CMSFullGCsBeforeCompaction=5 -
XX:+ExplicitGCInvokesConcurrent -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -
XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -
XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods"
#一台tomcat服务器并发连接数不高,生产建议分配物理内存通常4G到8G较多,如果需要更多连接,一般会利用虚拟化技术实现多台tomcat
2. 线程池调整
[root@centos7 ~]#vim /usr/local/tomcat/conf/server.xml
......
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000"
redirectPort="8443" />
......
常用属性:
-
connectionTimeout :连接超时时长,单位ms
-
maxThreads:最大线程数,默认200
-
minSpareThreads:最小空闲线程数
-
maxSpareThreads:最大空闲线程数
-
acceptCount:当启动线程满了之后,等待队列的最大长度,默认100
-
URIEncoding:URI 地址编码格式,建议使用 UTF-8
-
enableLookups:是否启用客户端主机名的DNS反向解析,缺省禁用,建议禁用,就使用客户端IP
就行
-
compression:是否启用传输压缩机制,建议 "on",CPU和流量的平衡
- compressionMinSize:启用压缩传输的数据流最小值,单位是字节
- compressableMimeType:定义启用压缩功能的MIME类型text/html, text/xml, text/css,text/javascript
3. Java压力测试工具
PerfMa 致力于打造一站式IT系统稳定性保障解决方案,专注于性能评测与调优、故障根因定位与解决,为企业提供一系列技术产品与专家服务,提升系统研发与运行质量。
社区地址:https://heapdump.cn/
十、java程序出现oom如何解决?什么场景下会出现oom?
JProfiler官网:http://www.ej-technologies.com/products/jprofiler/overview.html
JProfiler是一款功能强大的Java开发分析工具,它可以快速的帮助用户分析出存在的错误,软件还可对需要的显示类进行标记,包括了内存的分配情况和信息的视图等。
1. 堆内存不足
报错信息
java.lang.OutOfMemoryError: Java heap space
原因
- 1、代码中可能存在大对象分配
- 2、可能存在内存泄露,导致在多次GC之后,还是无法找到一块足够大的内存容纳当前对象。
解决方法
- 1、检查是否存在大对象的分配,最有可能的是大数组分配
- 2、通过jmap命令,把堆内存dump下来,使用mat工具分析一下,检查是否存在内存泄露的问题
- 3、如果没有找到明显的内存泄露,使用 -Xmx 加大堆内存
- 4、还有一点容易被忽略,检查是否有大量的自定义的 Finalizable 对象,也有可能是框架内部提供的,考虑其存在的必要性
2. 永久代/元空间溢出
报错信息
java.lang.OutOfMemoryError: PermGen space
java.lang.OutOfMemoryError: Metaspace
原因
永久代是 HotSot 虚拟机对方法区的具体实现,存放了被虚拟机加载的类信息、常量、静态变量、JIT编译后的代码等。
JDK8后,元空间替换了永久代,元空间使用的是本地内存,还有其它细节变化:
- 1、字符串常量由永久代转移到堆中
- 2、和永久代相关的JVM参数已移除
出现永久代或元空间的溢出的原因可能有如下几种:
- 1、在Java7之前,频繁的错误使用String.intern方法
- 2、生成了大量的代理类,导致方法区被撑爆,无法卸载
- 3、应用长时间运行,没有重启
解决方法
永久代/元空间 溢出的原因比较简单,解决方法有如下几种:
- 1、检查是否永久代空间或者元空间设置的过小
- 2、检查代码中是否存在大量的反射操作
- 3、dump之后通过mat检查是否存在大量由于反射生成的代理类
- 4、放大招,重启JVM
3. GC overhead limit exceeded
报错信息
java.lang.OutOfMemoryError:GC overhead limit exceeded
原因
这个是JDK6新加的错误类型,一般都是堆太小导致的。
Sun 官方对此的定义:超过98%的时间用来做GC并且回收了不到2%的堆内存时会抛出此异常。
解决方法
- 1、检查项目中是否有大量的死循环或有使用大内存的代码,优化代码。
- 2、添加参数-XX:-UseGCOverheadLimit 禁用这个检查,其实这个参数解决不了内存问题,只是把错误的信息延后,最终出现 java.lang.OutOfMemoryError: Java heap space。
- 3、dump内存,检查是否存在内存泄露,如果没有,加大内存。
4. 方法栈溢出
报错信息
java.lang.OutOfMemoryError : unable to create new native Thread
原因
出现这种异常,基本上都是创建的了大量的线程导致的。
解决方法
-
1、通过 *-Xss *降低的每个线程栈大小的容量
-
2、线程总数也受到系统空闲内存和操作系统的限制,检查是否该系统下有此限制:
/proc/sys/kernel/pid_max
/proc/sys/kernel/thread-max
max_user_process(ulimit -u)
/proc/sys/vm/max_map_count
5. 非常规溢出
1)分配超大数组
报错信息
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
原因
这种情况一般是由于不合理的数组分配请求导致的,在为数组分配内存之前,JVM 会执行一项检查。要分配的数组在该平台是否可以寻址(addressable),如果不能寻址(addressable)就会抛出这个错误。
解决方法
检查你的代码中是否有创建超大数组的地方。
2)swap区溢出
报错信息
java.lang.OutOfMemoryError: Out of swap space
原因
这种情况一般是操作系统导致的,可能的原因有:
- 1、swap 分区大小分配不足;
- 2、其他进程消耗了所有的内存。
解决方法
- 1、其它服务进程可以选择性的拆分出去
- 2、加大swap分区大小,或者加大机器内存大小
标签:HAProxy,haproxy,http,tomcat,Tomcat,10.0,server,80 来源: https://www.cnblogs.com/areke/p/16449200.html