大家好！今天让小编来大家介绍下关于MJ12bot是什么蜘蛛爬虫是否需要禁止mj12bot蜘蛛的访问的问题，以下是酷知号的小编对此问题的归纳整理，让我们一起来看看吧。
MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫，他有专门的中文站，对外链查询等很多SEO数据查询提供数据支撑，做过外链的都知道，获取外链资源是一项基本能力，这个网站可以查询网站的外链资源数，不过很多公司看到日志里有这个MJ12bot蜘蛛，中文网站建议是选择直接屏蔽掉（MJ12bot是Majestic-12分布式搜索引擎的爬虫）
MJ12bot遵循robots.txt标准，若需屏蔽他，直接在 robots.txt 添加以下代码;
User-agent: MJ12bot
Disallow: /
以上就是小编对于MJ12bot是什么蜘蛛爬虫是否需要禁止mj12bot蜘蛛的访问问题和相关问题的解答了，MJ12bot是什么蜘蛛爬虫是否需要禁止mj12bot蜘蛛的访问的问题希望对你有用！
文章来自互联网，只做分享使用。发布者：酷知号，转转请注明出处：https://www.kuzhihao.com/article/368053.html
