宝塔站长助手插件-智能防爬虫,批量生成robots.txt
作者：互联网
github5站长助手
介绍
基于lua开发的开源站长助手, 实现常见的站长功能:
- 智能防爬虫
- 批量添加站长统
- 批量替换网页内容
- 智能管理网站有效链接
- 批量生成robots.txt
- 批量屏蔽网站错误信息
- 自动推送到百度
- 更多功能开发中,欢迎联系我们反馈您的需求，QQ群
功能界面
功能详情
反爬防护
对网站进行安全防护,防止网络爬虫恶意请求
主要功能
-
浏览器验证
智能验证请求客户端是否为浏览器 -
返回内容编码
在不影响用户使用的情况下，对网站返回的html进行编码输出 -
屏蔽错误信息
禁止返回错误状态码和错误页面信息，可自定义错误页面 -
无头浏览器识别
智能检测无头浏览器爬虫 -
人机识别
当检测到异常 需要用户手动输入验证码 进行进行操作 -
加白功能
针对URL/客户端IP/搜索引擎 进行加白
目前支持搜索引擎 baidu,google,sogou,bing 等主流搜索引擎 -
友好后台管理功能
web后台管理,方便查看和修改配置
SEO优化
主要功能
-
页面修改
对每个html页面前插入设置的代码,如插入站长统计，站长工具自动收录代码
对网站返回内容进行替换/删除(新内容为空), 比如删除网站多余描述信息，或替换成站长联系方式等，根据特定需求进行使用即可 -
链接管理
根据配置，智能统计网站所有链接地址
根据统计到的链接，生成站点地图
将统计到的链接 推送到百度后台
外链发布(开发中)
主要功能
- 免费发布
将域名提交到上千个外部网站上
网站监控 (开发中)
部署
首先安装站长助手
cd /opt/
git clone https://github.com/anquanbiji/zhanzhanglua.git
chmod 777 /opt/zhanzhanglua/log.txt
chmod 777 /opt/zhanzhanglua/rule.txt
宝塔环境
宝塔安装
yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh
找到nginx.conf文件 在http{ 下 添加
include /opt/zhanzhanglua/nginx_conf/in_http_block.conf;
重启nginx
nginx -t
nginx -s reload
登录后台
如果您的网站域名是www.atghost.cn
如果您的网站ip是: 47.1.2.4
您的后台地址:
www.atghost.cn/github5
或者
47.1.2.4/github5
openresty
wget https://openresty.org/package/centos/openresty.repo
sudo mv openresty.repo /etc/yum.repos.d/
sudo yum check-update
sudo yum install -y openresty
执行如下命令,查看配置文件
openresty -t
返回结果
nginx: the configuration file /usr/local/openresty/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/openresty/nginx/conf/nginx.conf test is successful
在 /usr/local/openresty/nginx/conf/nginx.conf 的 http{ 下 添加
include /opt/zhanzhanglua/nginx_conf/in_http_block.conf;
重启openresty
openresty -t
openresty -s reload
登录后台
如果您的网站域名是www.atghost.cn
如果您的网站ip是: 47.1.2.4
您的后台地址:
www.atghost.cn/github5
或者
47.1.2.4/github5
其他环境
站长助手依赖nginx lua模块，所有您使用的是apache,iis等其他web服务器,建议先安装openresty或宝塔环境,使用反代方式请求您的网站
后台使用教程
-
访问/github5 路径
网站域名后加上/github5 路径，将会打开操作后台 (第一次访问 请进行注册，直接输入手机号和密码) -
配置说明
请查看界面上后右侧帮助信息
手动配置说明
如果对nginx足够了解，可以手动进行配置, 以下所有指令支持server 或 location 块
常见功能
- 关闭所有功能
set $config_all_fun false;
- 关闭浏览器检测
set $config_check_browser false;
- 关闭浏览器多次检测
set $config_check_browser_again false;
- 关闭返回编码功能
set $config_encode_response false;
- 关闭屏蔽状态码
set $config_is_error_status false;
- 关闭屏蔽错误信息
set $config_is_error_info false;
常见问题
- 无法保存规则到本地文件
修改规则文件的权限
chmod 777 /opt/zhanzhanglua/rule.txt
技术支持
每个问题10元QQ群
标签：插件,openresty,网站,robots,nginx,conf,后台,txt,github5 来源： https://blog.csdn.net/maoguan121/article/details/121575590