地图已读到而文章仍搜不到时,怎样拿正式网址核对抓取、索引和真实公开入口。
把网站地图交给了搜索平台,后台也显示读到了。可你拿文章标题去搜,还是找不到。先别从“文章是不是写坏了”开始猜,也不必把同一份地图再交好几遍。拿一条具体文章的网址,把它在地图里出现、服务器是否收到抓取请求、平台是否已经收入索引这几步对一遍。每一步能查到的证据不同,卡住以后该找的地方也不同。
先确认地图里写的是你想让人打开的网址
用浏览器打开地图,找到那篇文章的完整地址。看清域名、路径、末尾写法和是否带了参数。复制地址去打开,看最后停在哪。要是地图写旧网址,浏览器却跳到另一个地址,可以记录跳转前后两条。再看网页声明的规范网址,确认它与自己希望公开的版本一致。Google关于站点地图的帮助说明也建议填入希望显示的正式网址。
如果地图是后台实时生成的,有可能编辑刚发完,缓存还没更新。稍后重新读取时看真实结果,不只看服务器文件里有没有那一行。还可以从首页或栏目点一次文章,看普通访问者走的是哪个地址。地图写一条、栏目指另一条,先把这两处对齐,接下来排查更省事。
网站开得了还可以再看抓取记录
你自己点开文章能读到完整正文,说明这次公开访问通了。想知道搜索引擎来过没有,要看对应站长工具,或服务器访问日志里的请求。日志上看见一个爬虫名字,也需要按平台公开方法核验来源。看到网站首页有访问记录,仍要找同一天是否请求了那篇文章,看看它收到了什么状态码。标题改过或页面搬过家时,把检查时间也记下来。
有些站长工具提供现场检测,你点一下,就可能产生一条抓取请求。把这种手动检查的时间记清楚,以后看到日志时就不会把它混成搜索系统自然发现的访问。自己电脑能正常打开、手动检查能读到正文、日常抓取实际发生,这三条各能说明不同的情况。没有拿到后两条证据时,把它留为待查即可。
查索引时盯住那一个网址
站点地图后台告诉你文件已处理,有时还会显示发现了多少条地址。这个数字适合用来确认地图处理,具体文章是否已进入索引,要去平台提供的页面检查工具看。Google官方抓取和索引问答也说明,地图有助于发现页面,不能用它推断任何一条一定会被收录或提高名次。
可以把文章的正式地址粘到网址检查里,看数据是哪一天更新的、系统选择了哪一个版本、有没有列出原因。如果系统认的是另一条地址,回去查重复页面和跳转。如果实际有抓取失败,先修复网站返回。如果只知道地图已读取,其他数据没出来,就留下观察时间。重复点提交按钮,不能把尚未出现的抓取和索引记录补出来。
把观察范围写小一点
第一次排查不必把全站地址都粘一遍。挑一篇已知能搜到的旧文章和一篇新文章,用同样的办法对照。若旧文章可读、新文章在栏目入口找不到,可以先核对链接。若两篇都能从网站直接点开,再等平台数据或查服务器日志。对照样本最好挑真实的正式页面,别用带预览参数的链接代替。
记录时可以写下三句话。某天在地图里见到这条,某天是否有已核实的抓取,某天站长工具如何显示索引状态。下一次复查补新的记录。有人看到一条提交成功就想马上搜索验证,隔天又改标题。先把事实留好,后面真的出现变化,你才知道它发生在地图、抓取还是搜索展示的哪一步。
举个简单的对照。文章在地图里有,栏目里也有,但站长工具显示最近一次抓取还是发布之前。这时可以先看平台数据日期,别把旧记录理解成它已经看过新正文。把能验证的结果写在一处,下一轮就有依据可以比较。
