如果没有规範搜寻引擎机器人爬(抓取)网页，将会对网站造成那些的影响?

在本文中，我将讨论搜索引擎抓取工具和搜寻引擎机器人活动不受控制的影响，可能会对您帐户的资源使用造成影响。 为什幺需要控制搜寻引擎机器人? 用搜寻引擎机器人来爬(抓取)网际网路，查找和索引新的资讯内容并提供浏览者资讯搜寻，这就是网际网路上所用来散布讯息的方式。 如果您希望在Google或Bing等大型搜索引擎中找到您的网站内容，这是非常好的方式，不过在相同的时间上，搜寻引擎机器人与真的人拜访你的网站的活动方式是非常不同的，真的人来你的网站，有可能花费一些时间阅读当前的网页，他们会浏览的更多资讯，当他们愿意在网站上点击更多的连结时，很可能是对这个网站很有兴趣。 搜寻机器人拜访你的网站，主要的任务是要抓取你网站的上的内容，所以它们最可能从首页开始，它们轻鬆的的找出网站的每一个连结一个接着一个，直到发现全部的内容。 所以一个搜寻引擎机器人访客，可能潜在影响数百个使用者资源，就算没有上千个访客在你的网站上，一个资源使用到极限的网站，最后可能会让网站停止运作，如果只允许真的人拜访的话，这是可以避免的，并且设定只有好的搜寻机器人可以进入你的网站，所以这是很重要的观念。 如何控制搜寻机器人? 幸运的是，大多数的守规矩的搜寻机器人，是会跟随一个标準化的robots.txt规则文件，如果你需要进一步的了解，如何阻挡搜寻机器人检索你的网站，你可以观看这篇文章「如何使用robots.txt阻止搜寻引擎爬(抓取)你的网站?」 你也可以阅读此篇「如何在Google网站管理员工具中设置延迟爬(抓取)你的网站」 这个章节有步骤说明，如何控制Google的爬虫机器人。 不幸的是，不是全部的自动化机器人都会顺从robots.txt规则，在这种情况下，最好的方式就是学习「使用.htaccess去阻止不需要的访客到你的网站」

标签： 机器人 网页抓取