本文作者:SEO教程

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

网友knkn5 2015-11-21 19:02:39 412 自考本科网
SEO知否谈Canonical标签二级建造师市政哪个机构比较好 二级建造师市政哪个机构比较好,环球比较好,一来资历悠久,十多年了,确实帮助了不少二建考生,二来无论是老师还是服务都是有保障的。环球网校-国内最大的综合类培训网校环球网校成立于2003年,十多年来秉承"教育无域,环球共享"的宗旨,深度整合教育资源,打造"以学员为中心、以教育为本、以创新驱动"的在线职业教育平台。目前已拥有建筑工程、财会经贸、职业资格、医药卫生、外语考试、教师公考、考研学历等七大类上百个考试项目的在线录播、直播课程,出版的教材教辅系列成为学员备考必备资料。点击试听环球网校二建市政实务...

专升本教育培训

  【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

  今天又遇到有同学问我关于ROBOTS该如何去写的问题,这里整理下给大家,其实也都是来源于网路上,注意百度的蜘蛛叫做Baiduspider而不是baidubot,谷歌的叫做googlebot。


  1、禁止所有搜索引擎访问网站的任何部分


  User-agent:*


  Disallow:/


  2、允许所有的robot访问(或者也可以建一个空文件"/robots.txt")


  User-agent:*


  Allow:/


  另一种写法是


  User-agent:*


  Disallow:


  3、仅禁止Baiduspider访问您的网站


  User-agent:Baiduspider


  Disallow:/


  4、仅允许Baiduspider访问您的网站


  User-agent:Baiduspider


  Allow:/


  5、禁止spider访问特定目录


  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须


  分开声明,而不能写成"Disallow:/cgi-bin//tmp/"。


  User-agent:*


  Disallow:/cgi-bin/


  Disallow:/tmp/


  Disallow:/~joe/


  6、允许访问特定目录中的部分url


  User-agent:*


  Allow:/cgi-bin/see


  Allow:/tmp/hi


  Allow:/~joe/look


  7、使用"*"限制访问url


  禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。


  User-agent:*


  Disallow:/cgi-bin/*.htm


  8、使用"$"限制访问url


  仅允许访问以".htm"为后缀的URL。


  User-agent:*


  Allow:/.htm$


  9、禁止访问网站中所有的动态页面


  User-agent:*


  Disallow:/*?*


  10、禁止Baiduspider抓取网站上所有图片


  仅允许抓取网页,禁止抓取任何图片。


  User-agent:Baiduspider


  Disallow:/*.jpg$


  Disallow:/*.jpeg$


  Disallow:/*.gif$


  Disallow:/*.png$


  Disallow:/*.bmp$


  11、仅允许Baiduspider抓取网页和gif格式图片


  允许抓取网页和gif格式图片,不允许抓取其他格式图片


  User-agent:Baiduspider


  Allow:.gif$


  Disallow:/.jpg$


  Disallow:/.jpeg$


  Disallow:/.png$


  Disallow:/.bmp$


  12、仅禁止Baiduspider抓取jpg格式图片


  User-agent:Baiduspider


  Disallow:/.jpg$


文章投稿或转载声明:

来源:版权归原作者所有,转载请保留出处。如有侵犯你的版权,请联系本站!
本文标题:【baiduspider】百度蜘蛛叫Baiduspider不是baidubot