robots怎么写?robots禁止收录写法、详细说明-曦曦SEO

robots怎么写?robots禁止收录写法、详细说明

成都SEO作者:曦曦SEO时间:2022-11-19 23:04:44来源:成都seo浏览:23

  本文主要讲述【robots怎么写?robots禁止收录写法、详细说明】的相关内容,希望能对各位有所帮助。

  本文导读目录:

  1、ROBOTS怎么写?ROBOTS禁止收录写法、详细说明

  2、禁止蜘蛛爬行网站-robots该怎么写?

  3、网站 robots.txt 文件配置方法,如何禁止搜索引擎收录指定网页内容

  4、超详细robots.txt写法大全和禁止目录收录及指定页面

  5、逆冬:Robots文件写法+3个实战经验分享!小白看过来

  ROBOTS怎么写?ROBOTS禁止收录写法、详细说明

  原标题:ROBOTS怎么写?ROBOTS禁止收录写法、详细说明

  对于新手朋友来说,不太清楚robots该如何书写不会错,robots对网站内的优化又是非常重要的,今天蔡江来为大家简单讲解下robots的正确写法。(以下内容本着实用易懂的目的出发描述)

  这里蔡江先把几种常用的写出来,后面再讲每一句的含义:

  禁止所有搜索引擎抓取:User-agent: *Disallow: /禁止百度蜘蛛抓取:User-agent: baiduspiderDisallow: /允许百度抓取,禁止谷歌抓取:User-agent: *Allow: /User-agent: baiduspiderAllow: /User-agent: GooglebotDisallow: /

  聪明的朋友可能已经看出来了改如何写robots了。没看明白的不着急,请看下文

  robots是一行或多行User-agent开始,后面跟上多个Disallow和Allow行,参照上面案例

  User-agent: 后面跟搜索引擎机器人的名字  

  禁止蜘蛛爬行网站-robots该怎么写?

  什么是robots.txt文件

  robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索引擎蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

  robots.txt文件放置的位置

  robots.txt文件放在网站根目录下。搜索引擎蜘蛛访问一个站点时,首先检查该站点根目录下是否存在robots.txt文件,如果搜索引擎蜘蛛找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

  robots.txt语法

  1.允许所有搜索引擎收录本站:

  robots.txt为空就可以,什么都不要写。或者

  User-agent: *

  Disallow:

  2. 禁止所有搜索引擎收录网站的某些目录:  

  网站 robots.txt 文件配置方法,如何禁止搜索引擎收录指定网页内容

  搜索引擎通过网络蜘蛛抓取网页的内容,并展示在相关的搜索结果中。但是有些网页内容我们可能并不想被搜索引擎收录和索引,如管理员后台等。

  我们就可以通过 robots.txt 文件来声明允许/禁止搜索引擎的蜘蛛抓取某些目录或网页,从而限制搜索引擎的收录范围。

  本文就介绍下网站的 robots.txt 文件的配置和使用方法,以及如何编写 robots.txt 文件。

  robots.txt 是存放在网站根目录下的一个纯文本文件,用来告诉网络蜘蛛本站中的哪些内容允许爬取,哪些内容是不允许爬取的。

  搜索引擎的蜘蛛在访问网站时,也会首先检查该网站的 robots.txt 文件,获取允许在网站上的抓取范围。

  需要注意的是,robots.txt 只是一种大家约定俗成的规则,并不是强制的,有些搜索引擎并不支持,因此它不能保证网页内容一定会/不会被抓取。

  文件名必须为 (全部小写);文件格式为 UTF-8 编码的纯文本文件;必须放在网站根目录下,可通过 访问到;每个网站有且只能有一个 robots.txt 文件;对子域名和端口同样有效,如 开头的后面为备注内容;注意要使用英文字符。

  每条记录均由 组成,如 Sitemap:

  :用于指定指令所作用于的目标抓取工具(网络蜘蛛),后接抓取工具名称;:指定不允许抓取的目录或网页,后面为空则表示允许抓取一切页面;:指定允许抓取的目录或网页;:站点地图的位置,必须是绝对路径;:表示通配符;:表示网址结束;:匹配根目录以及任何下级网址。  

  超详细robots.txt写法大全和禁止目录收录及指定页面

  robots.txt写法大全和robots.txt语法的作用

  1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。

  robots.txt写法如下:

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow: /

  2如果我们禁止所有搜索引擎访问网站的所有部分的话

  robots.txt写法如下:

  User-agent: *

  Disallow: /

  3如果我们需要某一个搜索引擎的抓取的话,比如百度,禁止百度索引我们的网站的话

  robots.txt写法如下:

  User-agent: Baiduspider

  Disallow: /

  4如果我们禁止Google索引我们的网站的话,其实跟示例3一样,就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot

  即可

  robots.txt写法如下:

  User-agent: Googlebot

  Disallow: /

  5如果我们禁止除Google外的一切搜索引擎索引我们的网站话

  robots.txt写法如下:

  User-agent: Googlebot

  Disallow:

  User-agent: *

  Disallow: /

  6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话

  robots.txt写法如下:

  User-agent: Baiduspider

  Disallow:

  User-agent: *

  Disallow: /

  7如果我们需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引的话

  robots.txt写法如下:

  User-agent: *

  Disallow: /css/

  Disallow: /admin/

  Disallow: /images/

  8如果我们允许蜘蛛访问我们网站的某个目录中的某些特定网址的话

  robots.txt写法如下:

  User-agent: *

  Allow: /css/my

  Allow: /admin/html

  Allow: /images/index

  Disallow: /css/

  Disallow: /admin/

  Disallow: /images/

  9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号,比如问号星号什么的,如果使用“”,主要是限制访问某个后缀的域名,禁止访问/html/目录下的所有以”.htm”为后缀的URL(包含子目录)。

  robots.txt写法如下:

  User-agent: *

  Disallow: /html/.htm

  10如果我们使用“” 的 话 是 仅 允 许 访 问 某 目 录 下 某 个 后 缀 的 文 件 r o b o t s . t x t 写 法 如 下 : U s e r ? a g e n t : ? A l l o w : . a s p ”的话是仅允许访问某目录下某个后缀的文件 robots.txt写法如下: User-agent: * Allow: .asp”的话是仅允许访问某目录下某个后缀的文件robots.txt写法如下:User?agent:?Allow:.asp

  Disallow: /

  11如果我们禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,例如index.asp?id=1)

  robots.txt写法如下:

  User-agent: *

  Disallow: /?

  有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式。

  示例12  

  逆冬:Robots文件写法+3个实战经验分享!小白看过来

  最近看到高端SEO社群里有同学讨论Robots相关问题,我们从实战的角度,给大家讲讲怎么写Robots写法,以及在实战中可能遇到的问题,都给大家讲一下!希望可以帮助更多不懂的同学!

  Robots定义

  什么是Robots,简单来讲,其实Robots就是放在网站根目录下的一个TXT文件,但是这个TXT文件对搜索引擎规定,哪些页面可以访问,哪些页面不行。

  Robots一般放在网站根目录下,文件名固定为robots.txt的(全部小写)、当搜索引擎要爬取我们网站的时候,会先读一下robots.txt里面的内容,判断哪些URL可以访问,哪些不行,然后进行爬取、收录。

  Robots规则

  常用的几类语法:

  User-agent: 定义搜索引擎的类型

  google蜘蛛:googlebot

  百度蜘蛛:baiduspider

  yahoo蜘蛛:slurp

  alexa蜘蛛:ia_archiver

  msn蜘蛛:msnbot

  Disallow: 定义禁止搜索引擎收录的地址

  举个例子来讲:User-agent: * Disallow: /

  禁止所有搜索引擎访问网站,(*)为通配符

  以上是关于【robots怎么写?robots禁止收录写法、详细说明】的介绍,谢谢观看阅读!2022年为大家搜集整理更多【robots怎么写?robots禁止收录写法、详细说明】相关内容。

文章作者:曦曦SEO
文章标题:robots怎么写?robots禁止收录写法、详细说明
文章链接:http://www.snjkrh.cn/2923.html

相关文章

添加回复:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。