突然发现站点的日志增大，出现大量的SemrushBot爬虫，而且还是漫无目的乱爬，访问不正常的URL，比如不存在的页面，比如后面再给你多加一些字符等等，根本就不是个正常的蜘蛛，而且还占用服务器的资源。

先来看一下这个SemrushBot爬取的页面，如下图：

根本就不存在的页面也被SemrushBot爬了，真不知道这个东东想要干什么，甚至有的时候都会爬upload里面的图片目录，在里面找html页面，我也是服了。

好了，从网上找找这东西是个什么鬼吧，说得简单点就是一款搜集和谷歌SERP相关的信息，可能就是一款分析你站点，收集你站点内容的怎么一款软件吧，而且还是个国外的软件，可以说这东西完全没用。

所以为了不让这SemrushBot爬虫在站点随意抓取信息，还是要把这个爬虫给禁止掉的，还是老方法，直接在robots.txt文件中添加屏蔽信息，如下:

User-agent: SemrushBot

Disallow: /

User-agent: SemrushBot-SA

Disallow: /

目前暂不知道这货遵不遵循robots规则，先加上去再看吧，问题应该不大，如果把它给禁止了还来抓取，这就可以定义为恶性软件了。