但机器人在索引页面时会查看

[mahfuziii980]

标头以了解再次访问该页面是否有意义。怎么运行的当您第一次请求文档时服务器会在标头中报告当前时间和日期以及文档上次修改的确切时间。当再次访问文档时机器人或浏览器将向缓存页面所在的服务器发送请求自中收到的日期以来该页面是否已更改如果发生变化则需要新版本。作为响应机器人和浏览器会在页面更改时收到信息。那么有两种可能的选择如果在访问机器人后页面上的某些内容发生了更改服务器将返回并加载新的页面内容机器人将了解它需要处理更改如果自上次访问以来页面没有更改服务器将返回标头并且不会加载该网站。该页面将从缓存中加载机器人将了解没有更改并且不会抓取它。



为什么上次修改很有用建议设置发送标头并处理请求确保您的标头正确。特别是服务器对请求的响应内容非常重要。标头必须指示文档上次修改的正确日期。帮助这对网站有何用处减少机器人的工作量加快索引速度搜索机器人一次访问 智利电话号码列表 可以分析的页面数量是有限的。允许您优化网站的抓取预算。由于内容更改日期搜索机器人可以优先考虑抓取从发生更改的重要页面开始。这将增加新材料的索引。





显示新材料日期如果网站管理员以正确的格式指定了日期则网站页面将在搜索结果中按日期排序。搜索引擎和用户喜欢新鲜的材料信息相关的可能性更高。谷歌代表还建议在大型网站的页面上注明最后更改的日期。加快加载速度节省流量如果有缓存用户就不需要每次都重新加载页面。自上次访问以来未发生任何更改的页面将从缓存中加载这将节省用户流量并加快页面加载速度。如何设置缓存减少服务器负载服务器将需要仅向用户传输那些已更新内容的页面。如果没有更改将使用缓存中的版本。