当前位置:首页 >SEO教程 > 正文内容

Robots协议是什么,又有哪些作用!

阿芬SEO2020-05-02 21:09SEO教程170

当我们开启一个新的网站的时候默认没有robots协议,这也让好多站长忽略了这个问题,这个问题会主要导致大量重复页面,动态页面被抓取,一些没有内容的栏目被抓取影响网站质量

Robots协议是什么

Robots简介

robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据(Metadata,又称元数据)。

robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私


文件写法如下:

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

Sitemap: 网站地图 告诉爬虫这个页面是网站地图


Robots.txt常见问题  

① 如何生成Robots.txt文件  

目前线上平台有很多SEO推广软件,都支持客户端自动生成Robots.txt文件,它提供了一些便利的条件,比如:自动屏蔽一些没必要的爬虫,避免浪费过多资源,以及相关栏目页面与图片等。  一些在线SEO工具也是可以生成。


② 网站不收录,熊掌号不出数据  

通常出现这个问题,你可以第一时间查看Robots.txt文件,是否由于操作失误,屏蔽了百度蜘蛛,导致网站不收录  


③ Robots.txt与nofollow标签  

有的时候当你试图屏蔽一个URL的时候,明明在Robots.txt禁止抓取了,仍然会被索引,这种情况是可能存在的,为了安全起见,你可以在<meta>标签中,添加nofollow,来达到万无一失的作用。  


总结:Robots.txt文件是一个值得站长研究的协议,它合理的调配网站资源,有利于站点运营的快速发展。  

扫描二维码至手机访问

版权声明:本文由阿芬SEO发布,如需转载请注明出处。

转载请注明出处:https://www.qswuqu.com/post/16.html

相关文章

外部链接我们应该注意哪些?又如何去增加?

外部链接我们应该注意哪些?又如何去增加?

今天我们就聊一下外部链接,阿芬为大家带来以下内容:1.外部链接优化基础2.外部链接增加方法3.外部链接增加原则外部链接优化基础外部链接(简称外链和反链)需网站优化不可少的因素之一,主要作用是增加关键词...

关键词密度对网站优化有什么影响

关键词密度对网站优化有什么影响

  一.关键词密度的由来?  关键词密度这个概念是在2011年之前的网站优化中经常提到的,很多做网站优化的站长都一致认为文章内容里面的关键词密度需要去人为的控制,大概的范围是2%-8%。因此也有很多做...

【河北SEO】SEO有没有必要去学习呢?

【河北SEO】SEO有没有必要去学习呢?

随着seo越来越普及,河北SEO地区哪个学校的培训项目好,百度搜寻了下线下的培训都是一笔不小的费用。线上的培训哪家好呢?其实这个还真不好说,你只有自己去比对了解。学习这东西还是得靠自己,有心学的话,不...

浅谈HTML代码中重标签在SEO优化中的用法

浅谈HTML代码中重标签在SEO优化中的用法

经常接触SEO的朋友应该听说过HTML中几个着重标签,比如h、em、strong等均具有强调内容的着重标签,而我们在优化网站每一个页面的代码时,都会用到这些着重标签。毕竟搜索引擎在抓取网页时,会根据代...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。