robots静止抓取后,还会不会被收录?

优化技术 浪哥SEO 2020-05-20 21:01 433 0

robots是网站跟爬虫间的协议,用来设置搜索引擎爬虫抓取网站的权限。robots在SEO优化中显得不足为道,但它的作用还是很大的。要是robots静止抓取后,还会不会被搜索引擎收录?下面是浪哥seo最近上线的一个网站,robots静止抓取后,百度任然收录了网站。

robots静止抓取后,百度任然收录了网站

上次已经写过关于龙门飞鱼这个项目的事情,官网经过一段时间优化后,很多问题都得以解决。上图的这个网站,是我另外做的一个站,用来尝试其他优化方式。网站的上线时间是2020年4月27日, 上线后迟迟不收录,放哪儿也没有管它,等看到上图的结果时,才发现自己大意了。

robots静止抓取

其实,robots.txt文件只是静止抓取,但主域名还是能被访问到,这种情况我已经见过很多。所以,平时在使用rotots.txt和noflow这些功能时,并没有我们想象那样,蜘蛛改访问的还是会访问。当然,在网站上线时,大家一定要进行一下抓取诊断,就向下图这样,防止抓取失败导致不收录

抓取诊断

一些人在操作多站点时,为了避免重复收录,会使robots来静止抓取,反正我测试的结果并不满意,后面也就没有使用这样的方法了。

4.jpg

评论区
浪哥SEO

分享实战SEO营销技术,巧用算法、超控流量、玩转运营。可提供关键词排名优化服务,专属SEO推广顾问,首创按询盘付费,助您企业成功上市,QQ273993783。