从 Google 技术说明、阿里云和腾讯云公开文档出发,对照边缘缓存、源站回源与安全拦截的证据和验收方法。
换上内容分发网络之后,管理员打开首页,比以前快了。服务器监控却显示回源流量上升,爬虫请求也多了。出现这两种现象时,先查同一条公开网址到底是从边缘缓存返回,还是由节点去源站取回,再看安全规则有没有返回挑战或错误。首页快,也有可能只有首页已经暖缓存。源站日志突然安静,也有可能是很多请求从缓存返回,或者已经在边缘被拦下。
Google Search Central 在二零二六年十一月十一日发布了 CDN 切换与抓取专题。它指出,节点缓存还没有积累时,爬虫访问更分散的网址可能需要大量回源。同时,Google 会根据主机响应和抓取需求调整抓取。本篇选阿里云与腾讯云两家国内 CDN 的公开文档作为产品资料,并用 Google 的说明解释一个可核对的爬虫案例。各产品的具体字段与配置因版本和服务而异。这里没有做厂商压力测试,也没有使用网站真实流量记录。
同一次访问可以留下三种记录
| 要回答的问题 | 适合查看的证据 | 核验时应记录的条件 |
|---|---|---|
| 边缘是不是直接返回内容 | 边缘访问记录、缓存标识、目标网址返回内容 | 请求方法、节点、域名、实际内容类型 |
| 源站是不是接到请求并及时响应 | 源站访问日志、耗时、连接或错误记录 | 对应路径、时间、节点标记或可比请求标识 |
| 出现的正文是不是被安全规则替换 | 安全事件、边缘状态及真实响应内容 | 规则动作、请求身份核验和受影响目录 |

图注:按两家 CDN 文档及 Google 抓取说明整理的排查示意。
无法取得相同请求标识时,可以先选一条自己有权限测试的公开 URL,记录请求时刻、域名、路径和响应,再对照同一时间附近的边缘及源站记录。若多区域、多节点或重复请求混在同一张表,应把节点和时间粒度一并保存。跨层对账时说清楚这一行是同一请求,还是相似时间和路径下的分析线索。
先看看是哪些网址反复回源
阿里云文档建议先通过实际 GET 请求查看响应头,并结合缓存命中标志、节点等字段排查。自己做抽样时,可以从首页、一个久未更新的页面、一篇刚上线的文章以及文章图各挑代表 URL。相近时段重复请求,观察首次访问和再访问的缓存状态。若先后命中不同地区的边缘节点,两个状态不应直接比较。可控制测试入口时,尽量从相同网络重复,或附上可以辨别的节点信息。
腾讯云的 CDN 缓存文档说明,清理已有缓存后,后续访问可能回源获取内容并重新缓存。它还说明缓存键可以配置哪些查询参数参与区分资源。对带参数的网址,要先判断参数是否真的会改变内容。例如不同语言、不同权限或不同图像版本可能对应不同返回,不能为提高命中率就统统视作同一个资源。有些参数只用于声明访问来源或记录活动,缓存如何区分仍由实际站点与配置决定。若准备改参数处理,先在已授权的验证环境对照内容、缓存行为和来访来源采集,再考虑正式发布。
整体回源增加时,可以分开看站点请求总量、缓存命中比例和每次回源消耗。一个站点在流量变大时,即使命中比例不变,回源次数仍可能上升。另一方面,一次大规模刷新可能只在初期增加回源。管理员可以记录何时切换、何时更新了缓存、回源最多的目录,以及错误或响应变慢是从哪一段开始。用这几项可以判断要在边缘配置、应用耗时还是发布方式上继续查。

图注:依据阿里云缓存排查及腾讯云刷新和缓存键说明归纳,未列站点真实数据。
看见爬虫名称,先判断是否有身份依据
Google 的公开说明提醒,用户代理字符串可以被仿冒。核实 Googlebot 要用官方公布的 IP 段比对,或按官方方法进行 DNS 核验。在有代理的情况下,还应确认手头哪一列指原始客户端地址,哪一列指边缘服务器。来源地址字段取自何处及如何受到信任,要按自家服务拓扑和代理配置判断。直接用访客可以自行提供的头部字段来创建白名单,很难支持真实身份核验。其他爬虫按各自官方身份资料确认,不能沿用 Google 的判断结果。
安全策略启用后,可以核对匹配了哪一条规则,并看响应内容是否真的是所期待的页面。比如某访问记录显示请求了文章地址,但边缘处返回的是验证码页面。管理员要查清它是否在到达源站之前结束,以及究竟是哪一条动作触发。对自己网站用普通浏览器直接打开文章,可以检查当前公开内容和跳转,但这次操作能证明的是测试浏览器看到的结果。要了解特定抓取中的实际响应,可结合官方诊断工具及经核验的访问日志。
假设监控在晚间看到源站负载飙高,日志里出现大量声称自己是搜索引擎的请求。第一步可以把受影响目录和持续时间记下来。第二步核验来源,确认请求路径是在连续访问不同网页、重复请求资源,还是在撞同一个接口。第三步查 CDN 分析和安全事件,看负载来自冷缓存、被放行的真爬虫、其它自动流量,还是应用自身的问题。必要时,由负责网站的人按现有规则处理异常入口并确认哪些公开路径仍可访问。Google 新文也说明了对自身爬虫进行临时限流时的响应方式及风险,持续异常应根据官方文档与业务实际单独诊断。
改动前后选一组网址分开验
网站运营人员可以挑首页、主要栏目、新旧各一篇文章、文章图片、robots 文件和地图。每条记录保留旧、新两次可比的时间、访问位置、状态码、最终路径、内容类型和正文标记。有跳转的可以再记下跳转目标,尤其是从旧域名或旧路径来的请求。文章样本宜覆盖不同发布时期;选到图片时复查返回的是图片内容,选到地图时复查返回的是 XML。如果站点有需要登录的功能,另用后台原本的权限路径验收,避免把私人页面和公开内容套进相同缓存规则。

图注:站点抽样验收模板,无特定网站迁移结果。
经授权检查服务器时,可以同时记录请求数、慢响应数和失败数,并按目录归纳。举例来说,只因一批图片更新就把所有缓存清除,可能让原本稳定的文章也集中回源。若站点设置支持对具体资源刷新,可以先定位确有变动的对象,再按产品文档选择处理方式。重新加载后还要查页面是否仍引用正确图片,内容更新时间是否符合制作记录,以及旧地址是否继续按原规则跳转。对某一目录进行成功访问只能说明此次访问可用,爬虫收录与搜索展示需要从相关平台取得证据。如何区分爬虫访问与搜索点击可一起作为记录口径的参照。
例行复核时,可以让编辑保留普通浏览器看到的页面,让运维核对边缘与源站响应,并由站长平台经办人补充官方检查结果。三种记录写明是谁、在哪个入口、何时观察到的。这样当下一次出现首页能打开、个别文章却被旧缓存挡住的现象,团队能从具体路径找出差异。对刚接入 CDN 的站点,先掌握这些实际变化,再决定是否调整缓存、负载或规则,比看到短时波动就同时改动多层配置更容易验证效果。
两种看起来相同的超时,怎样交给不同的同事
假设测试时看到新文章偶尔超时,先把同一路径的两次结果记下来。第一次边缘没有缓存,源站也出现同一时段的慢请求。第二次边缘命中缓存,浏览器打开顺利。这样的记录可以让负责应用的同事进一步核对首次生成响应的耗时,负责 CDN 的同事也能判断哪类页面受缓存规则影响。若两次都找不到源站记录,而安全日志列出了拦截事件,则先把规则和时间交给负责边缘防护的人复核。此例用来说明排查分工,最终仍要看到对应请求或取得独立验证结果,才能确认原因。
对刚更改地址的站点,最好增加一条旧网址的检查。先记录它返回的目标地址,再打开目标页核实内容和规范地址是否一致。源站直接访问正常时,也要继续看边缘是否留着旧跳转或旧首页。后一种情况下,修改源站正文可能已经生效,少数节点仍在使用已有缓存。保留各节点的观察时间,就能知道是否需要等待、定向刷新,或重新检查规则匹配。刷新之前标出受影响的资源,避免影响本来正常的其它路径。
迁移后若还要查找少掉的来访,可以按Google 搜索点击与网站日志怎样对应里的记录方法,分别对照搜索侧点击和站点访问。
