最反直觉的一点是,谷歌收录这件事,你在后台点一百次「请求抓取」,也换不来它快一天。官方写得很清楚,同一个URL反复请求重抓不会让它抓得更快,单个URL的提交还有配额。所以谷歌收录不是靠催,是靠把页面送到它面前,然后等。
对做站的人来说,这句话的意思很直接:页面没进索引,你写得多好、词选得多准,都没有上场的机会。先把抓取和索引这一层确认通,再去谈内容,顺序反了就是白忙。猎者出海做站也是这个顺序。
- 是什么:Google抓取页面、处理内容、放进索引,之后才有资格出现在搜索结果里。
- 官方口径:抓取可能从几天到几周,请求抓取不保证立刻或一定被收录。
- 怎么做:按能不能抓、让不让抓、值不值得收三步查,少量URL用网址检查工具,大量URL用站点地图。
- 一个容易踩的坑:robots.txt不是把网页挡出谷歌的手段。
Search Console和Google搜索在中国大陆能不能正常使用,以官方为准。本文只讲收录这一个环节:怎么查、怎么提交、哪些做法没用,排名和赚钱不在里面。
本文目录
谷歌收录是什么,和抓取、索引是什么关系
抓取、处理、进索引,三步各干什么
Google对索引的定义,原句是「Indexing is when Google finds (crawls) your page, then processes content of the page and puts the page into the Google index」。翻成大白话:先找到并抓取你的页面,再处理页面内容,最后把页面放进索引,到这里它才有资格出现在搜索结果和其他Google服务里。
三步里最容易混的是后两步。抓取是Googlebot来把页面拿走,处理是它读页面上的文字、链接、结构化数据,进索引是它决定把这一页存进库里。抓取成功但没进索引,页面一样不会出现。
站点地图、robots.txt、robots meta各管一段
站点地图是一个文件,里面写站点上有哪些页面、其他文件,以及它们之间的关系,搜索引擎读它,是为了更高效地抓。它管「发现」。robots.txt告诉搜索引擎爬虫站点上哪些URL可以访问,它管「来不来」。robots meta是对单个HTML页面做细粒度的索引和呈现控制,它管「来了之后收不收、怎么显示」。
这三样别当成同一层的东西。robots.txt挡在门口,站点地图在门口递清单,robots meta在页面里贴条子。几种规则叠在一起会互相抵消,官方专门提示过。
被索引了,为什么搜不到
Google写得很直接:「Just because a page is indexed doesn't guarantee that it will show up in your search results」。索引只是入场券,搜索结果会按用户的搜索历史、位置这些变量做定制,同一次搜索在不同人那里结果不一样。你拿自己的浏览器搜不到,不代表页面没被收录。
要确认状态就去看后台,页面在不在索引里、Google认定的规范页是哪一个,都能看到。怎么进、点哪里,看Google Search Console教程。
网站不被谷歌收录,先按什么顺序查
顺序是能不能抓、让不让抓、值不值得收。第一步不通,后面两步查了也没意义,Google压根没见到这个页面。
第一步,能不能抓:有没有链、有没有进站点地图
「Google needs a way to find a page in order to crawl it. This means that it must be linked from a known page, or from a sitemap」。页面要么从已知页面链过去,要么出现在站点地图里,Google才有路找到它。孤岛页面最容易卡在这一步,也就是只有你自己知道地址、站内没有任何链接指向它的页面。
回查的动作有两个。一是看页面索引报告,如果报告里的总URL数远小于站点实际页数,说明Google没找到你的页面,可能是站太新,也可能是页面没法被发现。二是把页面地址复制出来,看站内有没有别的页面链过去。
第二步,让不让抓:robots.txt、noindex、X-Robots-Tag挡在哪一层
robots.txt挡的是访问,爬虫进不来,页面内容它就读不到。noindex挡的是索引,爬虫进得来、读得到,但读到这条规则就不把页面放进结果。两层是分开的,用错层就会出现「我明明挡了,怎么还搜得到」。
有个连带关系要记住:robots meta这类设置,只有在爬虫被允许访问含这个设置的页面时才会被读到并遵守。你在robots.txt里把整站挡住,页面里的noindex就等于没人看。PDF、图片这类非HTML文件,要用X-Robots-Tag响应头来挡索引,robots meta对它们不生效。几套规则冲突时,更严格的那条生效。
第三步,值不值得收:重复页和筛选页不索引是正常的
官方列过几种不索引的正当情况:被robots.txt规则挡住的页面、打了noindex标签的页面、跟站内其他页面重复的页面、不适宜索引的页面,比如同一个页面套了不同筛选条件生成的变体。电商站的颜色筛选、排序参数,博客的标签聚合页,很多都落在这一类。
这一步要做的不是硬推它们进索引,而是确认Google认定的规范页是不是你想要的那一页。同一内容有多个地址时,用Canonical标签把信号集中到一个地址上,比让几个变体互相打架省事。
每一步出问题怎么回查
第一步出问题,回到链接和站点地图,把页面挂进站内导航或者提交进站点地图,再等抓取。第二步出问题,去页面HTML源码里搜noindex,再去robots.txt里看有没有挡住这个目录,两处都干净才叫没挡。第三步出问题,看是不是重复页,能合并就合并,合并不了就加规范标签。
报告里灰色的未索引URL,有正当原因就属于正常:预期内的robots.txt规则、页面上的noindex、重复URL、删掉之后没有替代页的404。这类不用管。真正要修的是本该被收录、却因为报错没进去的页面,比如返回404的死链,处理思路写在死链对SEO影响。
谷歌收录提交怎么做:网址检查工具和站点地图分别什么时候用
提交入口只有两个,都在Search Console里,工具免费。单个URL用网址检查工具请求索引,URL数量大就用站点地图一次提交。选错入口的代价是时间,几十个页面挨个点,半天就过去了。

- 在Search Console添加资源并完成所有权验证。添加新资源,或者从资源选择器里选一个未验证的资源,再选一种验证方式按页面说明操作。这一步不能省,网址检查工具里的请求索引只对资源的所有者或完全用户开放。用WordPress的站,Site Kit可以代为验证。用HTML文件上传验证的,只能用在URL-prefix资源上,Domain资源用不了;用HTML标签验证的,标签要出现在文件2MB以内。报错通常在三处:文件没放到指定位置、文件内容被改过、文件被重定向到了别的域。
- 新站先给首页请求索引。官方说新站最好的第一步是为首页请求索引,这一步会启动Google对站点的抓取。点完不用守着,新页面和新站要一周左右才开始被抓取和索引,先等几天。
- 少量URL用网址检查工具逐个提交。关键页面、改过标题的页面、刚上线的重要页面,一页一页点请求索引。单个URL的提交有配额,同一个URL反复请求不会让它抓得更快,点一次记下来就行。
- 大量URL用站点地图一次提交。在Search Console的站点地图报告里提交,能看到Googlebot什么时候来访问过、有没有处理错误;也可以在robots.txt里加一行Sitemap指向站点地图地址,Google下次抓robots.txt时会发现。用WordPress这类CMS的,站点地图通常已经自动生成,先去后台确认有没有。站点地图怎么写,看网站地图sitemap。
- 用site:和网址检查工具确认结果。site:加精确URL查这一页有没有被索引,网址检查工具查它当前的状态和规范页。提交是提示,收录是结果,两件事分开看。
谷歌收录查询:site: 和网址检查工具各查什么
site: 查的是Google已知的页面样本
site:后面跟域名,能看到Google已知的这个站点的页面样本;site:后面跟一个精确URL,能查这一页有没有被索引。查的时候优先查首页和最重要的几页。样本不等于全部,少几条不代表页面丢了。
网址检查工具查的是单个URL的真实状态
任意一个URL丢进网址检查工具,能看到Google认定的规范页是哪一个,以及这一页当前的索引状态。页面改过、或者你怀疑规范页指错了,用它查最直接。
页面索引报告查的是全站的数量
页面索引报告显示站点有多少URL被抓取和索引,它不用来查单个页面的状态。报告里的示例URL列表有条数上限,而且即使没到上限,也不保证把某个状态下的URL全列出来。站点规模小的时候,官方说大概不需要用这个报告。
| 入口 | 能查到什么 | 什么时候用 |
|---|---|---|
| site: | Google已知的站点页面样本,或某个精确URL在不在索引里 | 快速抽查关键页面 |
| 网址检查工具 | 单个URL的索引状态和Google认定的规范页 | 页面状态不明、怀疑规范页指错 |
| 页面索引报告 | 全站被抓取和索引的URL数量、未索引原因分类 | 整站排查、按问题类型批量修 |
三个入口查的是不同颗粒度:抽查用site:,定案用网址检查工具,批量修用报告。
谷歌收录要多久、有哪些数字限制
抓取时间官方写的是几天到几周,这个区间里没有更细的承诺。请求抓取也不保证内容会立刻甚至一定进搜索结果,系统会优先快速收录高质量、有用的内容。所以提交完第二天还没收录,不构成问题。
新页面和新站点要更慢一点,大概一周左右Google才开始抓取和索引,站是新的就先等几天再去查。
| 项目 | 数字 | 说明 |
|---|---|---|
| 抓取时间 | 几天到几周 | 官方原话是a few days to a few weeks,这段时间只能等和看 |
| 新页面、新站开始被抓取 | 约一周 | 新站先等几天,别上线当天就认定出问题 |
| 单个站点地图上限 | 50MB(未压缩)或50,000个URL | 超了要拆成多个,再用索引文件一起提交 |
| 每个站点可提交的站点地图索引文件 | 最多500个 | 按Search Console账户里的站点算 |
| 页面索引报告的示例URL列表 | 上限1,000条 | 不保证显示某个状态下的全部URL |
这些是官方写明的数,收录率和排名效果不在这张表里,也没有别的地方能查到一个准确值。
常见误区和排查:robots.txt挡不住网页出谷歌
误区一,用robots.txt隐藏网页
结论:robots.txt挡不住网页出现在谷歌结果里,用它是白用。官方警告的原句是「Don't use a robots.txt file as a means to hide your web pages (including PDFs and other text-based formats supported by Google) from Google Search results」。被它挡住的URL照样可能出现在结果里,只是那条结果没有描述;别的站带描述文字链过来,Google甚至不访问页面也能把这个URL收进去。

真要挡,两个办法:页面加noindex,或者给文件加密码保护,页面不要了就直接删。robots.txt的指令也没法强制执行,服不服从看爬虫自己。规则怎么写、有什么副作用,看robots.txt。
误区二,反复对同一个URL点请求重抓
结论:点多少次都不会更快。单个URL的提交有配额,同一个URL反复请求重抓不会让它抓得更快。该做的是等,期间去看状态有没有变化。
误区三,提交站点地图就等于被收录
结论:提交只是提示。提交站点地图不保证Google会下载它,也不保证会用它去抓站里的URL。站点地图解决的是被发现,收不收还要看前面那三步。
误区四,靠meta keywords影响收录
结论:没用。meta keywords标签不被Google搜索使用,对索引和排名完全没有影响。堆这个词的收益是零。
误区五,指望站点每一个URL都被索引
结论:做不到,也不需要。官方说不要期待站点上所有URL都被索引,有些是重复页,有些本来就没有有意义的信息,保证关键页面进了索引就行。首页尤其要进,首页进了、站内链接正常的话,其他页面Google顺着也能爬到。
排查从哪一行开始看
页面索引报告里,优先处理验证状态是failed或not started、并且Source是Website的问题,这些一般自己能修。修完可以在报告里请求Google确认,全部已知实例修好了,问题计数会归零。
「收录API」「批量查询收录」「代提交收录」这类说法,和蜘蛛池、买收录一样,都是绕开正常抓取的路子,风险自己承担,本文不接。这类做法为什么不能碰,蜘蛛池与收录里有讲。
用AI整理收录排查清单,哪几步能交、哪几步必须自己做
收录排查里有一半是整理资料的活:把URL拉成清单、把未索引的原因归类、把规则对照一遍。这些能交给AI,判断和点击还得自己来。
- 把站点的URL清单整理成站点地图XML草稿,按协议生成urlset、loc、lastmod,你核对完再上传。
- 把页面索引报告里的未索引原因逐条归类,按能不能抓、让不让抓、值不值得收排好,每条附上对应的官方文档标题。
- 起草robots.txt和robots meta的检查清单,标出哪些页面被挡住、哪些规则互相冲突。
下面三条提示词是本文给的示例,不是官方模板,可以直接复制去用。
- 「下面是我站点的URL列表,请按sitemaps协议生成XML站点地图草稿,只保留loc和lastmod,lastmod用我提供的日期,不要加priority和changefreq。」
- 「这是我页面索引报告里未索引原因的截图文字,请按robots.txt挡住、noindex、重复页、404、其他五类归类,每类给出对应的Google官方文档标题,不要给排名建议。」
- 「请检查这份robots.txt和页面head里的robots meta,列出所有可能阻止索引的规则,并标出互相冲突的规则(按更严格规则生效的原则)。」
有三件事只能自己做。一是在Search Console添加资源并完成验证,选哪种验证方式、按验证页说明操作,这一步没有替代。二是在网址检查工具里对首页和关键页面逐个点请求索引,看返回的抓取状态。三是在页面索引报告的未索引原因表里一行一行点开,看Source是不是Website,据此决定这一条是修还是留。
整理资料、对照官方文档、出改稿单这些活,猎者出海的AI Agent里的SEO/GEO优化员工能接:按能不能抓、让不让抓、值不值得收把站内页面过一遍,运营员工每周给一张改稿单,写清改哪几篇、先改哪篇。方向和验收还是你自己定。
常见问题
谷歌收录一个网站要多久?
官方给的时间是几天到几周,新站还要再慢一点,一周左右才开始抓取。等的时候用网址检查工具看状态,不要靠每天搜一次来判断。新站从哪一步开始做,看新站收录和排名。
页面没被收录,是不是一定有问题?
不一定。被规则挡住、重复页、本来就不该索引的页面,不收录是正常结果。用网址检查工具看具体原因,原因不合理再修。
提交了站点地图,为什么还是没收录?
提交只是提示,不保证Google下载,也不保证照着抓。站点地图解决发现的问题,收不收还要看页面能不能抓、让不让抓、值不值得收。
用WordPress建站,还要自己做站点地图吗?
大概率不用,WordPress这类CMS通常已经自动生成了一份可用的站点地图。先去后台和插件里确认有没有,再决定要不要自己再做一份。
页面索引报告要天天看吗?
小站大概不需要,官方说站点页数少的时候可以不用这个报告,查单页用网址检查工具更快。报告的价值在站点规模大、要按问题类型批量修的时候。
新站第一步该做什么?
给首页请求索引。官方说新站最好的第一步是为首页请求索引,这一步会启动Google对站点的抓取。首页进了索引,站内链接正常的话,其他页面顺着也能被发现。
Search Console要花钱吗?
不收钱。网址检查工具、站点地图报告、页面索引报告都在里面,不需要另外买工具。
收录这件事没有一次做完的说法。页面会继续加,规则也会继续改,隔一段时间把三步重跑一遍,比出了问题再翻后台省事。猎者出海的AI Agent能把这套流程里的整理和对照接过去,判断哪一页该修、哪一页该留,还是你自己拍板。

发表评论