今天例行查看服务器上的访问日志,发现了一个叫 MauiBot 的爬虫开始大量抓取本站内容。上网了解了一下,这也是一个无用的垃圾爬虫,果断屏蔽掉。本文整理常见搜索引擎爬虫和垃圾爬虫,并给出屏蔽垃圾爬虫的方法。
搬瓦工VPS购买教程
DMIT服务器购买和使用教程
购买vultr服务器超详细图文教程
Namesilo域名注册和使用教程
frp内网穿透教程
YOURLS搭建短网址服务
ServerStatus-Hotaru探针教程
PHP开发的Github文件下载加速项目