随着企业越来越依赖数字营销，了解爬虫程序流量的影响至关重要。
但什么是机器人流量？
机器人流量是指访问您网站的非人类访问者，占所有互联网流量的 42.3%。
“创建机器人是为了抓取网络并收集有关网站的信息，”Thrive的搜索引擎优化（SEO）经理Dan Casey说。
虽然有些机器人是完全无害的，但其他机器人可能会对您网站的性能和安全性产生负面影响
了解网站机器人流量，识别好的和坏的流量机器人，并在本机器人流量指南中了解如何成功监控您网站的机器人活动。
好的网站流量机器人
好的机器人，也称为网络机器人，如谷歌网络爬虫，是用于抓取网站并帮助搜索引擎索引网页的自动化程序。
它们对于互联网的运作方式至关重要，并有助于使搜索更加高效和准确。确保您的网站针对这些好的机器人进行优化至关重要。
凯西说，如果你优化了内容、网站架构和用户体验，这些机器人会更好地抓取你的网站。
良好的网站流量机器人还可以从网站收集数据，网站所有者可以使用它来深入了解其用户群并分析其网站的性能。
好的机器人可以在许多方面受益，例如帮助提高搜索引擎排名、收集数据进行分析、改善客户体验、监控网站性能以及确保正常运行时间和安全合规性。
例如，技术SEO机构使用SEMRush或Ahrefs来确定您的网站排名的关键字，或使用Google网站管理员工具来检查网站流量。所有这些服务都使用某种机器人活动来运行。
不良网站流量机器人
另一方面，恶意机器人是旨在抓取数据或破坏网站性能的恶意程序。
它们的范围从简单的脚本到复杂的人工智能驱动的黑客工具，这些工具使用凭据填充、暴力攻击和点击欺诈等先进技术。
不良的网站机器人流量可能会以多种方式对公司造成重大损害，包括：
•窃取个人信息
• 分发恶意软件
• 劫持帐户
• 污损网站 • DDOS 攻击网站
以使其脱机
除了不良流量机器人可能对您的业务造成的直接伤害外，它们还会产生虚假的网站流量，这可能会扭曲分析数据并导致对您网站上的客户行为得出不准确的结论。
反过来，这可能会影响您的“网站的性能和安全性”。Casey引用了一个不良机器人占用您网站大量带宽并减慢服务器速度的例子。
“缓慢的速度意味着糟糕的用户体验，糟糕的用户体验意味着谷歌很可能会降低你在SERP中的排名，”凯西说。
不良的网站机器人流量是电子商务网站SEO排名的一个特别关注点，因为它们由于其宝贵的客户数据而更有可能成为恶意机器人的目标。
同样，严重依赖广告收入的网站（例如新闻网站）也面临着广告效果受到恶意机器人影响的风险。
基本上，好的机器人会提供有用的信息，而糟糕的流量机器人会对您网站的性能和安全性产生不利影响。
Thrive的技术SEO机构通过在其网站上实施安全功能来帮助企业避免不良的网站机器人流量，我们将在本博客后面讨论。
传入！如何识别进入您网站的机器人
机器人流量是日常事务，识别谁在访问您的网站可能很棘手。现在您已经了解了什么是机器人流量，让我们看一下几种方法来检测进入您网站的好机器人和坏机器人。
1. 检查网站流量模式
开始识别机器人的一个很好的方法是检查访问者的网站流量模式。
如果您注意到来自某个特定源的流量异常高，或者在特定时间段内从同一 IP 地址发出了太多请求，那么您很可能正在查看机器人。
问自己以下问题：
•我是否在页面浏览量很少的情况下获得大量短暂访问？
• 我的访问者是否在我的网站上花费了大量时间，或者他们是否迅速反弹？
• 我的访客在第一次访问后多久返回一次？
回答这些问题可以提供有关您的某些流量是否来自机器人的线索。
注意这些机器人的行为随时间推移的任何变化。
例如，如果您在特定时间段内看到一个特定机器人流量增加，这可能表明发生了可疑的事情。
2. 分析用户行为和互动
您还可以使用来自您网站上的用户行为和互动的数据来检测机器人流量。
仔细查看访问者到达您的网站时的操作，例如他们停留的时间、访问的页面以及他们是否注册了新闻通讯或下载内容。
访问者在您的网站上单击的链接也可能表明有害的机器人行为。
如果您注意到来自一个特定来源的大量点击，则可能表明自动机器人活动。
如果您发现任何奇怪的请求或用户行为的可疑变化与正常的人类活动不匹配，这可能表明机器人潜伏在您的网站上。
3. 使用 IP 地址跟踪工具
IP 地址跟踪工具正是它们听起来的样子：帮助您识别和跟踪访问者 IP 地址的工具。
这些工具由技术 SEO 机构使用，在尝试检测机器人流量时可以派上用场，因为它们允许您阻止恶意机器人或将已知特定 IP 地址列入黑名单。
您还可以使用这些工具来监视某些 IP 地址在一段时间内的活动，并留意任何可疑行为。
4. 检查网站流量和异常登录或机器人签名
异常登录和机器人签名是识别访问您网站的好机器人和坏机器人的另一种方法。
查找可能试图入侵您的系统的可疑登录和常见的机器人签名，如用户代理字符串。然后问问自己机器人流量在您网站的这一部分做了什么。
如果您识别出这些登录尝试或用户代理中的任何一个，则它们很可能属于恶意机器人。立即阻止它们。
5. 跟踪访问您网站的网络爬虫和蜘蛛
虽然大多数搜索引擎蜘蛛通常是无害的（如谷歌网络爬虫），但也有恶意蜘蛛（如抓取机器人），其唯一目的是未经许可从其他网站窃取内容。
因此，了解哪些蜘蛛类型正在访问您的网站非常重要，这样您就可以保护自己免受任何潜在威胁。
6. 监控服务器负载中的异常活动
最后，看到异常高的流量高峰可能表明恶意机器人正在尝试访问您的网站。
同样，如果您没有看到预期的那么多的自然搜索引擎流量，这可能表明一个糟糕的机器人正在用虚假访问压倒您的页面。
爬虫程序巡逻：有效管理您网站上的爬虫程序流量
现在您知道如何检测网站上的机器人流量，下一步是有效地管理它。
您可以使用多种工具和技术来帮助减少机器人对您网站的影响。让我们探索其中的一些。
1. 设置您的机器人.txt文件
Casey 首先引用了一个机器人文件.txt作为抵御恶意机器人的第一道防线。
robots.txt文件就像您的网站和网站爬虫之间的屏障。
它包含爬虫关于哪些页面应该被索引以及哪些页面应该保持私密的说明
此文本文件位于您网站的根目录中，包含有关网站抓取程序和其他机器人的说明，说明这些引擎可以抓取哪些内容或将其编入索引。
通过设置robots.txt文件，您实际上是在告诉机器人允许他们访问哪些文件和目录，以及应该阻止哪些文件和目录被抓取或索引。
这可确保即使恶意机器人确实进入您的网站，您也可以阻止恶意机器人访问任何可能造成伤害的敏感数据或区域。
2. 利用相关过滤器和阻止规则
设置完 robots.txt 文件后，下一步是为来自不同来源的特定类型的流量创建一些过滤器和阻止规则。
例如，如果您发现来自某些国家或地区的流量涌入，而这些流量与您的业务无关，则可以创建过滤器来阻止恶意机器人，以防止此类流量进入您的网站。
这些过滤器将有助于阻止不受欢迎的访问者，同时允许合法用户访问您的内容，而不会遇到任何麻烦或干扰。
3. 基于 IP 的解决方案
在爬虫程序进入您的网站之前识别爬虫程序的另一种好方法是使用基于 IP 的解决方案，例如 Cloudflare 访问规则或 Akamai 网络地址转换 （NAT）。
根据Casey的说法，阻止与恶意机器人相关的IP地址可以“最大限度地减少您网站上的不良机器人流量”。
这些解决方案允许您根据他们的 IP 地址控制谁可以访问您网站的特定部分，包括在恶意机器人流量通过初始网关之前阻止它！
这种类型的保护对于电子商务网站尤其重要，因为客户需要安全访问才能安全可靠地在线购物。
4. 利用 Web 应用程序防火墙
如果需要针对恶意机器人流量的额外保护层，请考虑利用 Web 应用程序防火墙 （WAF）。
WAF 通过监视恶意代码的传入流量并在恶意代码到达可能造成损害的服务器之前将其阻止，从而充当额外的安全措施。
请务必注意，WAF 只能检测已知威胁。因此，如果存在新的东西（例如零日漏洞利用），WAF 将无法阻止它，直到它被识别并添加到系统的已知威胁数据库中。
但是，WAF 可以有效地抵御大多数网络攻击，因此在研究保护自己免受不良机器人流量侵害的方法时，绝对值得考虑它们。
5. 部署验证码
您以前可能遇到过其中之一。验证码或完全自动化的公共图灵测试，用于区分计算机和人类（CAPTCHA）。
根据Casey的说法，CAPTCHA用于通过向他们提出某种类型的挑战来验证用户不是机器人，例如：
•输入图像
中的字母 • 求解数学方程式
• 选择与给定描述匹配的图像
这使得恶意机器人更难通过和访问敏感数据，因为验证码需要人类智能来解决它们。
通过 Thrive 保护您网站的搜索性能免受损害
从爬行到 IP 阻止等等，机器人对网站所有者来说可能是祝福和诅咒。请务必始终考虑如何保护您的网站免受机器人可能造成的任何伤害。您可以通过正确了解和管理传入的爬虫程序流量来保护自己免受潜在威胁。因此，请继续为在线机器人的狂野世界做好准备！
本文地址：
http://www.njanyou.cn/web/6883.html
Tag：
专业服务：
南京网站制作,
南京网站制作公司,
南京网站建设公司
联系电话：025-65016872
上一篇：
南京网站建议建议你您需要了解的有关 Google 新商家体验更新的所有信息
下一篇：
南京网站制作：谷歌权衡如何编写更有效的元描述
