当前位置:SEO排名公司 >> SEO教程 >> 浏览产品
SEO教程

行使robots协议如何屏蔽百度蜘蛛抓取??整站优化方法

标签:行使,协议,如何,屏蔽,百度,蜘蛛,抓取,整站,优化 分类:SEO教程 时间:2024年10月11日 作者:SEO排名公司 阅读172

行使robots协议如何屏蔽百度蜘蛛抓取 ?


robots协议是放在网站根目录下的协议文件,可以通过网址访问,当百度蜘蛛抓取我们的网站时,它会先访问这个文件。由于它告诉蜘蛛哪些能抓,哪些不能。 

robots协议文件的设置比较简单新疆人事考试中心,可以通过User-Agent、Disallow、Allow这三个参数进行设置。 

User-Agent:对不同搜索引擎的声明;

Disallow:不许可抓取的目录或页面;

Allow:被许可抓取的目录或页面通常可以省略或不写,由于假如你不写任何不能抓取的东西,它就可以被抓取。

当我不盼望百度抓取我网站所有的css文件,data目录、seo-tag.html页面 

User-Agent:BaidusppiderDisallow:/*.cssDisallow:/data/Disallow:/seo/seo-tag.html 

如上所述,user-agent声明了蜘蛛的名称,这意味着它针对的是百度蜘蛛。以下内容无法获取"/*。css",首先/指的是根目录,这是您的域名。*是代表任何内容的通配符。这意味着无法抓取以.css结尾的所有文件。这是你本身的两个经历。逻辑是一样的。 

通过403状况码,限定内容输出,屏蔽蜘蛛抓取。 

403状况代码是http协议中的网页返回状况代码。当搜索引擎碰到403状况代码时,它知道这些页面受权限限定。我无法访问它。例如,假如您必要登录才能查看内容,搜索引擎自己将无法登录。假如您返回403,他也知道这是权限设置页面,无法读取内容。当然,它不会被包括在内。 

返回403状况代码时,应该有一个类似于404页面的页面。提醒用户或蜘蛛实行他们想要访问的内容。两者都是不可或缺的。您只有提醒页面,状况代码返回200,这是百度蜘蛛的大量重复页面。有403个状况代码但返回不同的内容。这也不是很友爱。 

假如阻止css文件和js文件相干到布局网站建设费用,然后搜索引擎我不知道你的网页布局是好是坏。


想了解更多有关《行使robots协议如何屏蔽百度蜘蛛抓取??整站优化方法》的知识,请关注:SEO排名公司!更多SEO知识竟在SEO教程栏目。

Copyright2017-2020by SEO排名公司 all rights reserved