最新动态:

联系我们
网站优化知识

如何设置robots来避免蜘蛛黑洞

来源:      2021-7-24 17:13:29      点击:
对于百度搜索引擎来说,蜘蛛黑洞是指网站以极低的成本创建大量参数过多、内容相同但具体参数不同的动态URL。它就像一个无限的圆形“黑洞”困住了蜘蛛。Baiduspider浪费了大量的资源,抓取了无效的web页面。

例如,许多网站都有筛选功能。通过筛选功能生成的网页往往被搜索引擎捕获,其中很大一部分具有较低的检索价值,如“以500-1000的价格出租房屋”。首先,网站(包括现实中的)基本上没有相关资源。其次,站内用户和搜索引擎用户没有这种检索习惯。这类网页是由搜索引擎进行抓取的,只能占用网站宝贵的抓取配额。那么如何避免这种情况呢?

robots.txt的文件用法中有一个规则:disallow:/*?*,也就是说,禁止搜索引擎访问网站中的所有动态页面。这样,网站优先显示高质量页面,屏蔽低质量页面,为Baiduspider提供了更加友好的网站结构,避免了黑洞的形成。