标签：垃圾爬虫

今天例行查看服务器上的访问日志，发现了一个叫 MauiBot 的爬虫开始大量抓取本站内容。上网了解了一下，这也是一个无用的垃圾爬虫，果断屏蔽掉。本文整理常见搜索引擎爬虫和垃圾爬虫，并给出屏蔽垃圾爬虫的方法。