湖南seo优化过程中，robots文件该怎么写呢？robots.txt是查找引擎中拜访网站的时分要查看的第一个文件。搜索引擎蜘蛛先看网站里有没有robots这个文件，如果有这个文件，会依照robots文件给的匍匐规矩进行网站的爬取。

​

  
湖南seo优化为什么要用robots?

  网站为了查找引擎优化网站优化必定会有部分页面不想被查找抓取和录入，如“联系咱们”“广告合作”这时就会用到robots，来屏蔽查找的爬取和录入。

  robots的基本写法

  1、答应一切查找引擎拜访

  User-agent: *

  Disallow:

  或许

  User-agent: *

  Allow: /

  注意，可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。

  2、制止一切查找引擎拜访

  User-agent: *

  Disallow: /

  或许

  User-agent: *

  allow:

  3、制止一切查找引擎拜访网站中的几个部分，在这里我用a、b、c目录来替代

  User-agent: *

  Disallow: /a/

  Disallow: /b/

  Disallow: /c/

  如果是答应，则是

  Allow: /a/

  Allow: /b/

  Allow: /c/

  4、制止某个查找引擎的拜访，我用w来替代

  User-agent: w

  Disallow: /

  或

  User-agent: w

  Disallow: /d/*.htm

  在Disallow:后边加 /d/*.htm的意思是制止拜访/d/目录下的一切以”.htm”为后缀的URL，包含子目录。

  5、只答应某个查找引擎的拜访，我用e来替代

  User-agent: e

  Disallow:

  在Disallow：后边不加任何东西，意思是仅答应e拜访该网站。

  6、运用”$”约束拜访url

  User-agent: *

  Allow: .htm$

  Disallow: /

  意思是仅答应拜访以”.htm”为后缀的URL

  7、制止拜访网站中一切的动态页面

  User-agent: *

  Disallow: /*?*

  8、制止查找引擎F抓取网站上一切图片

  User-agent: F

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  意思是只答应引擎抓取网页，制止抓取任何图片(严格来说，是制止抓取jpg、jpeg、gif、png、bmp格局的图片。)

  9、只答应查找引擎E抓取网页和.gif格局图片

  User-agent: E

  Allow: .gif$

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .png$

  Disallow: .bmp$

  意思是只答应抓取网页和gif格局图片，不答应抓取其他格局图片

  针对查找引擎优化的robots高档写法

  尖端查找引擎优化高手robots.txt的写法

  robots运用时的注意点

  robots.txt有必要放置在一个站点的根目录下，并且文件名有必要全部小写。

  针对新手运用robots

  百度站长平台刚晋级了robots

  可以检测你自己制作的robots规矩是否能收效。