当前位置:首页 > SEO教程 > 正文内容

Robots协议是什么,又有哪些作用!

阿芬SEO2020-05-02 21:09SEO教程158

当我们开启一个新的网站的时候默认没有robots协议,这也让好多站长忽略了这个问题,这个问题会主要导致大量重复页面,动态页面被抓取,一些没有内容的栏目被抓取影响网站质量

Robots协议是什么

Robots简介

robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据(Metadata,又称元数据)。

robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私


文件写法如下:

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

Sitemap: 网站地图 告诉爬虫这个页面是网站地图


Robots.txt常见问题  

① 如何生成Robots.txt文件  

目前线上平台有很多SEO推广软件,都支持客户端自动生成Robots.txt文件,它提供了一些便利的条件,比如:自动屏蔽一些没必要的爬虫,避免浪费过多资源,以及相关栏目页面与图片等。  一些在线SEO工具也是可以生成。


② 网站不收录,熊掌号不出数据  

通常出现这个问题,你可以第一时间查看Robots.txt文件,是否由于操作失误,屏蔽了百度蜘蛛,导致网站不收录  


③ Robots.txt与nofollow标签  

有的时候当你试图屏蔽一个URL的时候,明明在Robots.txt禁止抓取了,仍然会被索引,这种情况是可能存在的,为了安全起见,你可以在<meta>标签中,添加nofollow,来达到万无一失的作用。  


总结:Robots.txt文件是一个值得站长研究的协议,它合理的调配网站资源,有利于站点运营的快速发展。  

扫描二维码至手机访问

版权声明:本文由阿芬SEO发布,如需转载请注明出处。

转载请注明出处:https://www.qswuqu.com/post/16.html

相关文章

自己应该怎么做一个网站

自己应该怎么做一个网站

现在在互联网上制作网页相当容易,不仅需要各种工具的帮助,而且在遇到任何困难时也需要在线帮助,今天阿芬就主要介绍一下自己如何独立完成一个网站的搭建1、 主题选择既然我想自己做一个网站,我应该有一个网站内...

【河北SEO】SEO有没有必要去学习呢?

【河北SEO】SEO有没有必要去学习呢?

随着seo越来越普及,河北SEO地区哪个学校的培训项目好,百度搜寻了下线下的培训都是一笔不小的费用。线上的培训哪家好呢?其实这个还真不好说,你只有自己去比对了解。学习这东西还是得靠自己,有心学的话,不...

友情链接交换与购买标准

友情链接交换与购买标准

很多人在交换友情链接的时候不知道应该注意哪些今天阿芬就给大家讲讲友情链接:1.交换条件2.注意事项3.友情链接作用4.交换渠道交换条件1.行业相关性,要与我们的行业有一定相关性,否则用处不大2.页面的...

医疗行业建站技巧

  做好医疗网站建设是一件很不容易的事情,毕竟这是一个比较敏感并且特殊的行业。随着互联网的高速发展,医疗行业在做好线下医疗服务的同时,也渐渐将目光投向互联网领域。医疗行业将自身资源优势整合到互联网中去...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。