robots怎么写？robots禁止收录写法、详细说明

作者：曦曦SEO时间：2022-11-19来源：成都seo浏览：132

　　本文主要讲述【robots怎么写？robots禁止收录写法、详细说明】的相关内容，希望能对各位有所帮助。

　　本文导读目录：

　　1、ROBOTS怎么写？ROBOTS禁止收录写法、详细说明

　　2、禁止蜘蛛爬行网站-robots该怎么写？

　　3、网站 robots.txt 文件配置方法，如何禁止搜索引擎收录指定网页内容

　　4、超详细robots.txt写法大全和禁止目录收录及指定页面

　　5、逆冬：Robots文件写法+3个实战经验分享！小白看过来

　　ROBOTS怎么写？ROBOTS禁止收录写法、详细说明

　　原标题：ROBOTS怎么写？ROBOTS禁止收录写法、详细说明

　　对于新手朋友来说，不太清楚robots该如何书写不会错，robots对网站内的优化又是非常重要的，今天蔡江来为大家简单讲解下robots的正确写法。(以下内容本着实用易懂的目的出发描述)

　　这里蔡江先把几种常用的写出来，后面再讲每一句的含义：

　　禁止所有搜索引擎抓取：User-agent: *Disallow: /禁止百度蜘蛛抓取：User-agent: baiduspiderDisallow: /允许百度抓取，禁止谷歌抓取：User-agent: *Allow: /User-agent: baiduspiderAllow: /User-agent: GooglebotDisallow: /

　　聪明的朋友可能已经看出来了改如何写robots了。没看明白的不着急，请看下文

　　robots是一行或多行User-agent开始，后面跟上多个Disallow和Allow行，参照上面案例

　　User-agent: 后面跟搜索引擎机器人的名字　　

　　禁止蜘蛛爬行网站-robots该怎么写？

　　什么是robots.txt文件

　　robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索引擎蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

　　robots.txt文件放置的位置

　　robots.txt文件放在网站根目录下。搜索引擎蜘蛛访问一个站点时，首先检查该站点根目录下是否存在robots.txt文件，如果搜索引擎蜘蛛找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

　　robots.txt语法

　　1.允许所有搜索引擎收录本站：

　　robots.txt为空就可以，什么都不要写。或者

　　User-agent: *

　　Disallow:

　　2. 禁止所有搜索引擎收录网站的某些目录：　　

　　网站 robots.txt 文件配置方法，如何禁止搜索引擎收录指定网页内容

　　搜索引擎通过网络蜘蛛抓取网页的内容，并展示在相关的搜索结果中。但是有些网页内容我们可能并不想被搜索引擎收录和索引，如管理员后台等。

　　我们就可以通过 robots.txt 文件来声明允许/禁止搜索引擎的蜘蛛抓取某些目录或网页，从而限制搜索引擎的收录范围。

　　本文就介绍下网站的 robots.txt 文件的配置和使用方法，以及如何编写 robots.txt 文件。

　　robots.txt 是存放在网站根目录下的一个纯文本文件，用来告诉网络蜘蛛本站中的哪些内容允许爬取，哪些内容是不允许爬取的。

　　搜索引擎的蜘蛛在访问网站时，也会首先检查该网站的 robots.txt 文件，获取允许在网站上的抓取范围。

　　需要注意的是，robots.txt 只是一种大家约定俗成的规则，并不是强制的，有些搜索引擎并不支持，因此它不能保证网页内容一定会/不会被抓取。

　　文件名必须为 （全部小写）；文件格式为 UTF-8 编码的纯文本文件；必须放在网站根目录下，可通过 访问到；每个网站有且只能有一个 robots.txt 文件；对子域名和端口同样有效，如 开头的后面为备注内容；注意要使用英文字符。

　　每条记录均由 组成，如 Sitemap:

　　：用于指定指令所作用于的目标抓取工具（网络蜘蛛），后接抓取工具名称；：指定不允许抓取的目录或网页，后面为空则表示允许抓取一切页面；：指定允许抓取的目录或网页；：站点地图的位置，必须是绝对路径；：表示通配符；：表示网址结束；：匹配根目录以及任何下级网址。　　

　　超详细robots.txt写法大全和禁止目录收录及指定页面

　　robots.txt写法大全和robots.txt语法的作用

　　1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。

　　robots.txt写法如下：

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow: /

　　2如果我们禁止所有搜索引擎访问网站的所有部分的话

　　robots.txt写法如下：

　　User-agent: *

　　Disallow: /

　　3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话

　　robots.txt写法如下：

　　User-agent: Baiduspider

　　Disallow: /

　　4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot

　　即可

　　robots.txt写法如下：

　　User-agent: Googlebot

　　Disallow: /

　　5如果我们禁止除Google外的一切搜索引擎索引我们的网站话

　　robots.txt写法如下：

　　User-agent: Googlebot

　　Disallow:

　　User-agent: *

　　Disallow: /

　　6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话

　　robots.txt写法如下：

　　User-agent: Baiduspider

　　Disallow:

　　User-agent: *

　　Disallow: /

　　7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话

　　robots.txt写法如下：

　　User-agent: *

　　Disallow: /css/

　　Disallow: /admin/

　　Disallow: /images/

　　8如果我们允许蜘蛛访问我们网站的某个目录中的某些特定网址的话

　　robots.txt写法如下：

　　User-agent: *

　　Allow: /css/my

　　Allow: /admin/html

　　Allow: /images/index

　　Disallow: /css/

　　Disallow: /admin/

　　Disallow: /images/

　　9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以”.htm”为后缀的URL(包含子目录)。

　　robots.txt写法如下：

　　User-agent: *

　　Disallow: /html/.htm

　　10如果我们使用“” 的 话 是 仅 允 许 访 问 某 目 录 下 某 个 后 缀 的 文 件 r o b o t s . t x t 写 法 如 下 ： U s e r ? a g e n t : ? A l l o w : . a s p ”的话是仅允许访问某目录下某个后缀的文件 robots.txt写法如下： User-agent: * Allow: .asp”的话是仅允许访问某目录下某个后缀的文件robots.txt写法如下：User?agent:?Allow:.asp

　　Disallow: /

　　11如果我们禁止索引网站中所有的动态页面（这里限制的是有“?”的域名，例如index.asp?id=1）

　　robots.txt写法如下：

　　User-agent: *

　　Disallow: /?

　　有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。

　　示例12　　

　　逆冬：Robots文件写法+3个实战经验分享！小白看过来

　　最近看到高端SEO社群里有同学讨论Robots相关问题，我们从实战的角度，给大家讲讲怎么写Robots写法，以及在实战中可能遇到的问题，都给大家讲一下！希望可以帮助更多不懂的同学！

　　Robots定义

　　什么是Robots，简单来讲，其实Robots就是放在网站根目录下的一个TXT文件，但是这个TXT文件对搜索引擎规定，哪些页面可以访问，哪些页面不行。

　　Robots一般放在网站根目录下，文件名固定为robots.txt的（全部小写）、当搜索引擎要爬取我们网站的时候，会先读一下robots.txt里面的内容，判断哪些URL可以访问，哪些不行，然后进行爬取、收录。

　　Robots规则

　　常用的几类语法：

　　User-agent: 定义搜索引擎的类型

　　google蜘蛛：googlebot

　　百度蜘蛛：baiduspider

　　yahoo蜘蛛：slurp

　　alexa蜘蛛：ia_archiver

　　msn蜘蛛：msnbot

　　Disallow: 定义禁止搜索引擎收录的地址

　　举个例子来讲：User-agent: * Disallow: /

　　禁止所有搜索引擎访问网站，(*)为通配符

　　以上是关于【robots怎么写？robots禁止收录写法、详细说明】的介绍，谢谢观看阅读！2022年为大家搜集整理更多【robots怎么写？robots禁止收录写法、详细说明】相关内容。