其他分享
首页 > 其他分享> > 活动封禁刷票ip

活动封禁刷票ip

作者:互联网

活动封禁刷票ip

一、问题引入

  休息不太好,头疼ing。。。。。原谅我今天也是长话短说

  话说,我们一搞活动,就会招来大量过来刷票的人。活动大概是这样的:答题之后抽奖,奖品有可能是代金券或者是电话费充值。然后刷票会导致活动入口打开超慢,正常想参加活动的人会受到极大的影响,极具影响用户体验。服务器通过nginx日志会看到同一个时间点里面有大量的ip过来访问。

  然后领导坐不住了,希望我能通过一些手段去处理这个事。

 

二、问题探索

  一开始跟前老大讨论这个事的时候,他告诉我nginx自身有个请求限流模块:ngx_http_limit_req_module,能针对同一个ip的连接数,限制并发数目。我发现,实际场景用起来并不是特别好用,因为我分析过nginx日志,它是同一个时刻,是大量的ip过来的,最多拖慢它过来的访问速度;但是领导的意思是直接封禁它,加入黑名单呢。

  于是没办法啦,只能通过nginx日志去封禁这些ip了。领导说有3个参数是可变的,叫我把脚本写灵活点:

(1)ip访问次数:某个ip访问次数达到多少次

(2)访问地址url:针对某个访问的url

(3)统计时间的频率:某个时间频率(比如30秒,1分钟,x分钟)

 

三、问题解决

  用了两个方法:(1)直接纯代码分析nginx日志过滤  (2)利用elk统计分析

  大致讲下思路,然后贴代码,早点洗洗睡(今天头胀得厉害,太不舒服了,感觉是积劳成疾 = =)

  方法一:直接纯代码分析nginx日志过滤 

  统计时间的频率我弄死在1分钟里面了,所以不存在第3个参数。

  1、筛选1分钟内的nginx日志

  2、对访问的某个url统计ip访问次数(记得去重)

  3、把黑名单写入nginx配置文件,封禁

  4、输出ip黑名单,发到钉钉群

  特别提醒下,要是对nginx日志grep一个日志里面不存在的时间点,是返回不了数据的。比如运行命令:

cat access.log |sed -n '/2020-08-12T10:15:00+08:00/, /2020-08-12T10:25:00+08:00/p'   , 如果这两个时间点刚好是没有日志的,会返回空。即使这个时间段里面有日志。 

  

  1 #!/bin/bash
  2 
  3 ### 封禁每分钟超过30次的ip
  4 ## authored by ljy
  5 ## nginx日志文件目录
  6 log_dir=/home/ljy/app/nginx/logs
  7 log_file=${log_dir}/活动日志.access.log
  8 
  9 
 10 ## 刷票ip处理目录
 11 ip_dir=/home/ljy/scripts/block_ip
 12 ip_date=${ip_dir}/ip_date.txt
 13 ip_list=${ip_dir}/ip_list.txt
 14 deny_list=${ip_dir}/deny_ip.txt
 15 
 16 ## 白名单文件(不加入到nginx黑名单的)
 17 white_list=${ip_dir}/white_ip.txt
 18 
 19 ################ 参数1: ip访问的次数
 20 times=30
 21 
 22 ################ 参数2: 访问的地址
 23 url='/xxx/redirect.html'
 24 
 25 
 26 ################ 参数3: 统计频率(人为定义秒数为60秒)
 27 SECOND_TO_GREP=60
 28 
 29 
 30 #日志文件打开行数(tail打开最近1w条)
 31 MAX_TAIL_LINE=10000
 32 #这段是前老大教的,大家要好好体会。就是把60秒内的日志都筛选出来
 33 hms=`date -d "1 second ago" +"%Y-%m-%dT%H:%M:%S"`
 34 
 35 for ((i=1;i<=${SECOND_TO_GREP};i++)) ;
 36 do 
 37     hms="${hms}|`date -d "${i} second ago" +"%Y-%m-%dT%H:%M:%S"`" 
 38 done
 39 
 40 echo $hms
 41 echo "##################"
 42 
 43 
 44 ######## 1、筛选1分钟内的日志(SECOND_TO_GREP秒前的日志)
 45 tail -${MAX_TAIL_LINE} ${log_file} | sed -rn "/${hms}/,$ p" > ${ip_date} 
 46 
 47 ##nginx路径
 48 nginx_dir=/home/ljy/app/nginx
 49 nginxconf_dir=${nginx_dir}/conf
 50 
 51 
 52 ######## 2、对访问的某个url统计ip访问次数(已去重)
 53 ### 列表: 次数+ip
 54 >$deny_list
 55 
 56 #echo $url
 57 cat $ip_date | grep $url | cut -d '"' -f 12 | sort -nr |uniq -c |sort -nr | awk '{print $0}' > $ip_list
 58 
 59 cat $ip_list | while read line
 60 do
 61    iptimes=`echo $line | awk '{print $1}'`
 62    if [ $iptimes -ge $times ]; then
 63       ip=`echo $line | awk '{print $2}'`
 64       echo "ip 为 $ip "
 65       ##白名单不加入禁止ip上
 66       if cat $white_list | grep "$ip" > /dev/null
 67       then
 68           echo "是白名单ip,不禁止"
 69       else
 70           #如果没写入过nginx配置文件中
 71           if cat $nginxconf_dir/extra/配置文件.conf | grep "$ip" > /dev/null
 72          # if cat /home/ljy/scripts/block_ip/配置文件.conf | grep "$ip" > /dev/null
 73           then 
 74               echo "已存在该ip,不写入文件"
 75           else
 76               echo "deny $ip;" >> $deny_list
 77           fi
 78       fi
 79    fi
 80 done
 81 
 82 cd $ip_dir
 83 ######## 3、把黑名单写入nginx配置文件,封禁
 84 sed -i '40 r '${deny_list}'' $nginxconf_dir/extra/配置文件.conf
 85 
 86 
 87 ######## 4、nginx重新加载,黑名单封禁生效
 88 ${nginx_dir}/sbin/nginx -t
 89 ${nginx_dir}/sbin/nginx -s reload
 90 
 91 
 92 ######## 5、输出ip黑名单,发到钉钉群
 93 denytailnum=`cat $nginxconf_dir/extra/配置文件.conf |grep -n deny |tail -n 1 | awk -F ':' '{print $1}'`
 94 denyheadnum=`cat $nginxconf_dir/extra/配置文件.conf |grep -n deny |head -n 1 | awk -F ':' '{print $1}'`
 95 
 96 
 97 ### 如果nginx文件有deny ip 相同行,就不要再重复添加
 98 if [  $denytailnum  ]; then
 99    cat $nginxconf_dir/extra/配置文件.conf | sed -n ${denyheadnum},${denytailnum}p > tmpfile
100    sed 's/;//g' tmpfile  |  awk '{print $2}' > ${ip_dir}/warnip.txt 
101 fi
102 
103 
104 #发黑名单ip,每小时的05分发一次
105 min=`date +%M`
106 if [ $min == '5' ]; then
107    python warn.py
108 else
109    echo "不是每小时的05分,不发告警"
110 fi

 

warn.py是用来发钉钉告警的,就是给领导看,哪些ip被加入黑名单了

 1 # -*- coding: utf-8 -*- 
 2 # @Time : 2020/9/18 10:26 
 3 # @Author : ljy 
 4 # @File : warn.py
 5 
 6 import time
 7 import os
 8 import urllib2
 9 import json
10 import pymysql
11 import datetime
12 import sys
13 import requests
14 reload(sys)
15 sys.setdefaultencoding('utf-8')
16 
17 size = os.path.getsize('/home/ljy/scripts/block_ip/warnip.txt') 
18 #1、文件非空输出deny的ip
19 if size != 0:
20     content="以下ip被加入黑名单: \n"
21     with open("/home/ljy/scripts/block_ip/warnip.txt") as f:
22         content += f.read()
23         f.close()
24     ##机器人url
25     url = 'https://oapi.dingtalk.com/robot/send?access_token=xxxxx'
26     data = {"msgtype": "text", "text": {"content": content}, "at": {"atMobiles": ['本人电话号码'], "isAtAll": "false"}}
27     headers = {'Content-Type': 'application/json'}
28     request = urllib2.Request(url=url, headers=headers, data=json.dumps(data))
29     re = urllib2.urlopen(request, timeout=10)
30     re_data = re.read()

效果图:

后来又叫我写多个解禁ip的脚本,就是传入哪些ip,自动放出来

read -p "请输入要解禁的ip(逗号分隔):  " input_ip
echo $input_ip | xargs -d, -n2 -I {} echo {} | sed '/^$/d' > out_ip
cat out_ip | while read line
do
    ip=$line
    if cat $nginxconf_dir/extra/acttest.conf | grep "$ip" > /dev/null
    then 
       echo "存在该ip,解封:$ip"

       ##找到ip那行,删除
       sed -i '/'${ip}'/'d $nginxconf_dir/extra/配置文件.conf  
    else
       echo "不存在该ip,不需要解封"
    fi
done

 

 

方法二:利用elk统计分析

首先要用filebeat+logstash+elasticsearch+kibana,把nginx日志导到kibana展示,然后运行这条查询语句就可以了

timestamp:指定某个查询时间范围内

min_doc_count:指定ip次数为2次(field 指定了查询的字段为ip,记得预先设定下nginx日志格式为json输出)

GET /logstash-nginx-xxxx/_search
{
  "size":0,
  "aggs":{
    "count_second":{
      "date_histogram": {
        "field": "@timestamp",  
        "interval": "second", 
        "time_zone":"+08:00"
      },
       "aggs":{
          "ipv":{      
              "terms": {
                "field": "clientip.keyword",
                "size":1000,
                "order": {
                  "_count": "desc"
                },
                "min_doc_count": 2
                }
            }
        }   
      }
     },
  "query":{
        "bool": {
          "must": [
            { "match_phrase": { "url": "匹配某个url地址"}}
        ],
        "filter": {
          "range": {
            "@timestamp": {
              "time_zone":"+08:00",
              "gte": "2020-08-10T12:00:00.000",
              "lte": "2020-08-10T12:10:00.000"
           }
        }
      }
    }
  }
}

 

 

标签:封禁,url,ip,刷票,nginx,日志,echo,dir
来源: https://www.cnblogs.com/windysai/p/14369914.html