该页面提供响应代码作为对网站

审查用户代理请求 网站收到来自Googlebot、YandexBot、bingbot、baidu等众多爬虫的请求。这些请求应该是属于我们网站用户首选的搜索引擎的爬虫。例如，如果没有或很少有用户通过 Bing 浏览器访问我们的网站，并且如果我们当前的日志审查显示 Bingbot 发送了太多请求，我们将推断应在此处采取操作。 我们可以通过增加 Crawl-delay 值来降低 Bingbot 的访问频率，或者我们可以文件中关闭 Bingbot 的爬行。通过这种方式，我们阻止了用户代理花费浏览预算，因为它不会为我们的网站做出贡献并接收不必要的请求。

响应代码检查 上 URL 的请求的结果。这些响应代码本身表达了不同的加销 阿曼手机号码列表 量并强化信息。例如，响应代码 500 表示服务器有问题，而响应代码 200 表示页面打开没有任何问题。我们可以根据日志分析中的响应码进行一些推断。例如，假设我们最近将 AMP 页面 301 重定向到其主版本。在这种情况下，对包含 /amp 的页面的请求可能会相当高。 如果这些URL没有包含在索引中，我们可以通过件中关闭它们的抓取来减少不必要的请求。根据日志输出，可能会出现不同的情况，必须针对这些情况采取特殊措施。




请求编号的审核 我们可以确定爬虫向哪些页面发送最多和最少的请求。特别是使用源过滤时，我们只能检查 HTML 或图像并访问有关在相关日期范围内发出了多少请求的信息。 通过检查请求数量，我们可以了解搜索引擎蜘蛛向哪些类型的资源发送较多的抓取请求。 4. 检查页面的抓取频率 我们可以根据用户代理和状态代码来查看爬虫抓取我们页面的频率。当我们向右滚动 URL 屏幕时，我们还可以看到哪些机器人收到了对这些页面的最多请求。同时，响应代码部分还包含有关在对相关 URL 的请求中遇到的响应代码的信息。