您的位置: 首页 > SEO教程 > SEO基础教程 > 正文

seo优化:顶级seo高手robots.txt的写法

发布时间:2018-03-09 10:03:31 来源: 编辑:    人点击

  seo优化:顶级seo高手robots.txt的写法

  近几日有不少同学反应,他们看了很多大站,robots的写法也是各有不同,有的不知道为什么要这么写,这样写robots针对seo的意义在哪里?

  今天seo知否小编分析2个站点,为大家详细解释,下面是干货时间:

  seo视频教程:robots.txt写法

  首先,咱们先看这个站点,他的robots写法是:

robots

  红框括起来的,一看就知道这个站点是dedecms搭建的。下面还有2个就是站长本人创建。重点说一下:

  Disallow: /*?* 解释:url中只要包含了问号(“?”),那么将屏蔽蜘蛛的抓取

  Disallow: /*list* 解释:url中只要包含了list字符(“list”),那么将屏蔽蜘蛛的抓取

  详细解读:

  第一个,为什么屏蔽带“?”的url:因为带“?”的url都是动态地址,对搜索引擎并不友好,都晓得静态地址是对seo排名最好的。所以屏蔽带“?”的url是必须的。

  第二个,为什么屏蔽url中只要包含了list字符:因为带list的url,一般都是列表页,列表页都会有很多分页,而有分页的话,这些页面有一个共同点:title基本都是相同的,只是末尾会有不同的“第几页”,而这样会被搜索认为都是重复title,所以必须屏蔽。

  再来看一个大站,2345电影站,他的robots:

2345robots

  大站的一个共同点:都屏蔽了带“?”url的抓取。而且屏蔽了:Disallow: /search_* 搜索结果页面的抓取。其他的不做多解释,屏蔽的目的只有一个:这些页面不想被搜索收录,因为这些页面不在参与排名的页面当中。

  再扩展点讲讲:当你要做某个网站时,网站搭建之初,网站关键词挖掘,布局,参与排名的页面(url)都有哪些,站内优化,站外优化的方式是什么。这些问题,在网站建设前就要部署计划好。所以说seo也是一个系统的工程。(成功之前,是要有准备、有铺垫。)

  但是seo学习难吗,真的一点也不难,推荐观看学习基础的seo视频教程:怎么学习seo 免费:2周精通SEO自学教程!


  • 0
  • 0
  • 收藏