当前位置:首页 >SEO教程 > 正文内容

Robots协议是什么,又有哪些作用!

阿芬SEO2020-05-02 21:09SEO教程277

当我们开启一个新的网站的时候默认没有robots协议,这也让好多站长忽略了这个问题,这个问题会主要导致大量重复页面,动态页面被抓取,一些没有内容的栏目被抓取影响网站质量

Robots协议是什么

Robots简介

robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据(Metadata,又称元数据)。

robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私


文件写法如下:

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

Sitemap: 网站地图 告诉爬虫这个页面是网站地图


Robots.txt常见问题  

① 如何生成Robots.txt文件  

目前线上平台有很多SEO推广软件,都支持客户端自动生成Robots.txt文件,它提供了一些便利的条件,比如:自动屏蔽一些没必要的爬虫,避免浪费过多资源,以及相关栏目页面与图片等。  一些在线SEO工具也是可以生成。


② 网站不收录,熊掌号不出数据  

通常出现这个问题,你可以第一时间查看Robots.txt文件,是否由于操作失误,屏蔽了百度蜘蛛,导致网站不收录  


③ Robots.txt与nofollow标签  

有的时候当你试图屏蔽一个URL的时候,明明在Robots.txt禁止抓取了,仍然会被索引,这种情况是可能存在的,为了安全起见,你可以在<meta>标签中,添加nofollow,来达到万无一失的作用。  


总结:Robots.txt文件是一个值得站长研究的协议,它合理的调配网站资源,有利于站点运营的快速发展。  

扫描二维码至手机访问

版权声明:本文由阿芬SEO发布,如需转载请注明出处。

转载请注明出处:https://www.qswuqu.com/post/16.html

相关文章

站内seo优化需要限制聚合标签数量吗?

站内seo优化需要限制聚合标签数量吗?

标签对查找引擎的效果十分大,能够快速的让收索引擎知道文章的内容是环绕哪方面来写的,TAG标签、title标签信任都用过,对于TAG标签这个姓名或许行业网站用的比较多。网站优化,做好内容优化是十分重要的...

【暴风SEO论坛】论坛网站怎么做seo优化?

【暴风SEO论坛】论坛网站怎么做seo优化?

  【暴风SEO论坛】论坛网站怎么做seo优化?具体操作讲解  好多站长想做自己的论坛网站,网站上线了,却不知道怎么做SEO优化,今天山阿芬SEO就为大家讲一下论坛类型的网站怎么做SEO。1.论坛网站...

【河北SEO】SEO有没有必要去学习呢?

【河北SEO】SEO有没有必要去学习呢?

随着seo越来越普及,河北SEO地区哪个学校的培训项目好,百度搜寻了下线下的培训都是一笔不小的费用。线上的培训哪家好呢?其实这个还真不好说,你只有自己去比对了解。学习这东西还是得靠自己,有心学的话,不...

Tag标签是什么,又如何优化?

Tag标签是什么,又如何优化?

很多小白并不了解Tag标签,像我们常用的WordPress,织梦,还有许多程序对于添加Tag标签是非常方便的,那么在方便之余,我们就想到了如何优化?那么本文就和大家具体的说一下Tag标签一、什么是TA...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。