robots文件禁止抓取为什么还被收录

作者：曦曦SEO时间：2022-11-15来源：成都seo浏览：60

　　本文主要讲述【robots文件禁止抓取为什么还被收录】的相关内容，希望能对各位有所帮助。

　　本文导读目录：

　　1、Robots.txt 不让搜索引擎收录网站的方法

　　2、robots文件禁止了收录标签页内容,但是为什么还是会有收录？

　　3、robots文件里已经禁止抓取，为什么蜘蛛还爬呢？

　　4、巧用网站禁止收录机制屏蔽蜘蛛抓取页面

　　5、网站一直没被收录 robots.txt文件可能是元凶

　　Robots.txt 不让搜索引擎收录网站的方法

　　有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形？想象一下，如果要向世界上所有的人公开你的私人日记，你能接受吗？的确是很矛盾的问题，站长们大都忧虑“如何让搜索引擎收录的我的网站？”，而我们还是要研究一下“如何让搜索引擎不收录我们的网站”，也许我们同样也用的到。

　　1.搜索引擎如何工作的？

　　简单的说，搜索引擎实际上依靠的庞大的网页数据库。按搜索方式可以分为 全文搜索 和 目录搜索 两种。

　　所谓全文搜索，是搜索引擎通过从网页自动提取信息来建立数据库的过程。至于提取的原理，就是SEO狂热者们所研究的算法，在他们的理想情况下，网页应该是针对搜索引擎设计的，具有最好的收录效果。当然，不是本文的话题。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信 息存入数据库，以备用户查询。

　　与全文搜索引擎相比，目录索引有许多不同之处。目录索引完全是手工操作的。

　　首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。

　　其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引，登录更是困难。

　　最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而 且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。

　　目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。

　　2.如何拒绝搜索引擎？

　　其实很简单的，只需要在网站的根目录中放一个名称为Robots.txt的文件，该文件的写法很有讲究的哦，务必按要求写，写法如下：

　　1）什么是Robots.txt？

　　Robots.txt是一个文本文件，关键是这个文件所在的位置：在网站的根目录下。弄错了，就不起作用了！

　　2）Robots.txt如何起作用?

　　前面提到过搜索引擎的自动提取信息会遵循一定的算法，但是，无论算法如何，第一步都是在寻找这个文件。其含义是，“贵站对我们这些Robots有什么限制？”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应（没有找到这个文件），代表没有什么限制，尽管来抓取吧。如果真的有这个文件，机器人会读来看看，如果自己被拒绝就会停止抓取过程了。

　　3）怎么写Robots.txt文件？

　　遵循语法的Robots.txt才可能被机器人识别，至于语法，介绍起来很繁琐，现简单举例如下：

　　1）禁止所有搜索引擎访问网站的任何部分（也就是网站彻底的拒绝所有搜索引擎收录）

　　User-agent: *　　

　　robots文件禁止了收录标签页内容,但是为什么还是会有收录？

　　1：什么是robots文件

　　每个网站都有一个robots.txt文件，它包含了有关网站的一些重要信息，比如哪些页面可以被搜索引擎索引，哪些不能。

　　如果你想让搜索引擎不索引你的网站中的某些页面，你可以在robots.txt文件中加上相应的代码来告诉搜索引擎。

　　例如，你可以在robots.txt文件中加上“Disallow: /tag/”来告诉搜索引擎不要索引标签页面。　　

　　robots文件里已经禁止抓取，为什么蜘蛛还爬呢？

　　明明使用robots禁止了搜索引擎抓取，但是为什么会收录了？这或许是很多朋友的一个天大的疑问。百思不得其解啊，尼玛！不是说了打了代码后就蜘蛛就不抓了么？难道这是搜索引擎的一个bug不成？以前听过人这么说过：robots.txt文件屏蔽了网站，那么网页这么都不会收录了丫！这版本怎么就不一样了呢？

　　兄弟姐妹们！纸上得来终觉浅，绝知此事要躬行啊！天天在那嗷嗷叫嗷嗷说屏蔽了就不能收录的一看就知道根基不稳，底盘不够扎实。我这里的答案有两个，先来看看最基础的一个吧。

　　第一个没啥技术含量，因为搜索引擎索引数据库的更新需要时间。比如说Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。（ps：如果你自己把禁止代码写错了，那就别怪蜘蛛还来抓你的东西了，这事你问搜索引擎工程师也没法给你解决。）

　　为什么说是基本功呢？大家看看下面这张图就明白了。在这张图里，我们可以很明显看到某宝网上的收录描述块写着：“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容”。这个很明确了吧，一连草泥马问号出来了有木有？

　　淘宝索引

　　那这究竟是什么情况呢？有没有一种二师兄的懵逼感觉呢？好了，不BB太多了，我怕会被打。上正菜吧。　　

　　巧用网站禁止收录机制屏蔽蜘蛛抓取页面

　　巧站禁?收录机制屏蔽蜘蛛抓取页?

　　基于?站安全与盈利的因素，站长并不希望某些?录或页?被抓取和收录，?如付费内容、测试阶段的页?及复制内容页?等。

　　SEO

　　尽管在?站建设的过程中，使? JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望?却步，?导致页?不被收录。

　　但在某些情况下搜索引擎是能够读取他们的，基于?站排名考虑，我们建议慎? JavaScript、Flash 链接及Nofollow属性屏蔽收录。

　　强调?下，建站使? JavaScript、Flash 链接其实是在给?站制造蜘蛛陷阱，致使搜索引擎不能正确判断与抓取页?的主题与?字。

　　要确保?站某些?录或页?不被收录，需要正确使? robots ?件或Meta Robots 标签来实现?站的禁?收录机制。

　　1、robots ?件

　　搜索引擎蜘蛛访问?站时，会先查看?站根?录下有没有?个命名为 robots.txt 的纯?本?件，它的主要作?是制定搜索引擎抓取或者禁站　　

　　网站一直没被收录 robots.txt文件可能是元凶

　　网站一直没被收录

　　?robots.txt

　　文件可能是元凶

　　?

　　有的网站，上线很长时间了，都没有被收录，框架结构简洁明了，内容百分

　　百原创，

　　而且还做了不少优化工作，

　　可是就是没有被收录。

　　抓耳挠腮，

　　不得其解？

　　建议还是选择像凡科网此类做网站优化服务，

　　而又有大型的自助建站平台，

　　给自

　　己的网站提供一个保障。

　　?

　　一个网站要被收录，也不是什么困难的事情，一个人的力量完全可以做到。

　　我之前在一家小企业，

　　刚进去被安排去做网站。

　　当时网站只是初步建成，

　　内容还

　　是一片空白。发文章，贴产品，完全没有时间，想不到半个月就收录了。如果一

　　个网站做得不错，但是却总是无法被搜索引擎收录，

　　robots.txt

　　文件很可能就

　　是元凶。

　　?

　　Robots.txt

　　文件是用来告诉搜索引擎哪些目录内容不希望被抓取，很多人

　　通常不会希望网站中的内容不被抓取，

　　否则也就没有做下去的意义了，

　　所以很多

　　人直接忽略掉这个文件。

　　搜索引擎找不到这个文件，

　　便会认为网站的内容都是希

　　望被收录的。

　　?

　　以上是关于【robots文件禁止抓取为什么还被收录】的介绍，谢谢观看阅读！2022年为大家搜集整理更多【robots文件禁止抓取为什么还被收录】相关内容。