谷歌收录怎么做:网站不被收录、收录慢,按三步自查并用官方工具提交

倪叶明

作者

更新于

最反直觉的一点是,谷歌收录这件事,你在后台点一百次「请求抓取」,也换不来它快一天。官方写得很清楚,同一个URL反复请求重抓不会让它抓得更快,单个URL的提交还有配额。所以谷歌收录不是靠催,是靠把页面送到它面前,然后等。

对做站的人来说,这句话的意思很直接:页面没进索引,你写得多好、词选得多准,都没有上场的机会。先把抓取和索引这一层确认通,再去谈内容,顺序反了就是白忙。猎者出海做站也是这个顺序。

  • 是什么:Google抓取页面、处理内容、放进索引,之后才有资格出现在搜索结果里。
  • 官方口径:抓取可能从几天到几周,请求抓取不保证立刻或一定被收录。
  • 怎么做:按能不能抓、让不让抓、值不值得收三步查,少量URL用网址检查工具,大量URL用站点地图。
  • 一个容易踩的坑:robots.txt不是把网页挡出谷歌的手段。

Search Console和Google搜索在中国大陆能不能正常使用,以官方为准。本文只讲收录这一个环节:怎么查、怎么提交、哪些做法没用,排名和赚钱不在里面。

谷歌收录是什么,和抓取、索引是什么关系

抓取、处理、进索引,三步各干什么

Google对索引的定义,原句是「Indexing is when Google finds (crawls) your page, then processes content of the page and puts the page into the Google index」。翻成大白话:先找到并抓取你的页面,再处理页面内容,最后把页面放进索引,到这里它才有资格出现在搜索结果和其他Google服务里。

三步里最容易混的是后两步。抓取是Googlebot来把页面拿走,处理是它读页面上的文字、链接、结构化数据,进索引是它决定把这一页存进库里。抓取成功但没进索引,页面一样不会出现。

站点地图、robots.txt、robots meta各管一段

站点地图是一个文件,里面写站点上有哪些页面、其他文件,以及它们之间的关系,搜索引擎读它,是为了更高效地抓。它管「发现」。robots.txt告诉搜索引擎爬虫站点上哪些URL可以访问,它管「来不来」。robots meta是对单个HTML页面做细粒度的索引和呈现控制,它管「来了之后收不收、怎么显示」。

这三样别当成同一层的东西。robots.txt挡在门口,站点地图在门口递清单,robots meta在页面里贴条子。几种规则叠在一起会互相抵消,官方专门提示过。

被索引了,为什么搜不到

Google写得很直接:「Just because a page is indexed doesn't guarantee that it will show up in your search results」。索引只是入场券,搜索结果会按用户的搜索历史、位置这些变量做定制,同一次搜索在不同人那里结果不一样。你拿自己的浏览器搜不到,不代表页面没被收录。

要确认状态就去看后台,页面在不在索引里、Google认定的规范页是哪一个,都能看到。怎么进、点哪里,看Google Search Console教程。

网站不被谷歌收录,先按什么顺序查

顺序是能不能抓、让不让抓、值不值得收。第一步不通,后面两步查了也没意义,Google压根没见到这个页面。

第一步,能不能抓:有没有链、有没有进站点地图

「Google needs a way to find a page in order to crawl it. This means that it must be linked from a known page, or from a sitemap」。页面要么从已知页面链过去,要么出现在站点地图里,Google才有路找到它。孤岛页面最容易卡在这一步,也就是只有你自己知道地址、站内没有任何链接指向它的页面。

回查的动作有两个。一是看页面索引报告,如果报告里的总URL数远小于站点实际页数,说明Google没找到你的页面,可能是站太新,也可能是页面没法被发现。二是把页面地址复制出来,看站内有没有别的页面链过去。

第二步,让不让抓:robots.txt、noindex、X-Robots-Tag挡在哪一层

robots.txt挡的是访问,爬虫进不来,页面内容它就读不到。noindex挡的是索引,爬虫进得来、读得到,但读到这条规则就不把页面放进结果。两层是分开的,用错层就会出现「我明明挡了,怎么还搜得到」。

有个连带关系要记住:robots meta这类设置,只有在爬虫被允许访问含这个设置的页面时才会被读到并遵守。你在robots.txt里把整站挡住,页面里的noindex就等于没人看。PDF、图片这类非HTML文件,要用X-Robots-Tag响应头来挡索引,robots meta对它们不生效。几套规则冲突时,更严格的那条生效。

第三步,值不值得收:重复页和筛选页不索引是正常的

官方列过几种不索引的正当情况:被robots.txt规则挡住的页面、打了noindex标签的页面、跟站内其他页面重复的页面、不适宜索引的页面,比如同一个页面套了不同筛选条件生成的变体。电商站的颜色筛选、排序参数,博客的标签聚合页,很多都落在这一类。

这一步要做的不是硬推它们进索引,而是确认Google认定的规范页是不是你想要的那一页。同一内容有多个地址时,用Canonical标签把信号集中到一个地址上,比让几个变体互相打架省事。

每一步出问题怎么回查

第一步出问题,回到链接和站点地图,把页面挂进站内导航或者提交进站点地图,再等抓取。第二步出问题,去页面HTML源码里搜noindex,再去robots.txt里看有没有挡住这个目录,两处都干净才叫没挡。第三步出问题,看是不是重复页,能合并就合并,合并不了就加规范标签。

报告里灰色的未索引URL,有正当原因就属于正常:预期内的robots.txt规则、页面上的noindex、重复URL、删掉之后没有替代页的404。这类不用管。真正要修的是本该被收录、却因为报错没进去的页面,比如返回404的死链,处理思路写在死链对SEO影响。

谷歌收录提交怎么做:网址检查工具和站点地图分别什么时候用

提交入口只有两个,都在Search Console里,工具免费。单个URL用网址检查工具请求索引,URL数量大就用站点地图一次提交。选错入口的代价是时间,几十个页面挨个点,半天就过去了。

Search Console站点地图报告提交入口画面,谷歌收录批量提交
大量URL在站点地图报告里一次提交,能看到Googlebot访问和处理错误。
  1. 在Search Console添加资源并完成所有权验证。添加新资源,或者从资源选择器里选一个未验证的资源,再选一种验证方式按页面说明操作。这一步不能省,网址检查工具里的请求索引只对资源的所有者或完全用户开放。用WordPress的站,Site Kit可以代为验证。用HTML文件上传验证的,只能用在URL-prefix资源上,Domain资源用不了;用HTML标签验证的,标签要出现在文件2MB以内。报错通常在三处:文件没放到指定位置、文件内容被改过、文件被重定向到了别的域。
  2. 新站先给首页请求索引。官方说新站最好的第一步是为首页请求索引,这一步会启动Google对站点的抓取。点完不用守着,新页面和新站要一周左右才开始被抓取和索引,先等几天。
  3. 少量URL用网址检查工具逐个提交。关键页面、改过标题的页面、刚上线的重要页面,一页一页点请求索引。单个URL的提交有配额,同一个URL反复请求不会让它抓得更快,点一次记下来就行。
  4. 大量URL用站点地图一次提交。在Search Console的站点地图报告里提交,能看到Googlebot什么时候来访问过、有没有处理错误;也可以在robots.txt里加一行Sitemap指向站点地图地址,Google下次抓robots.txt时会发现。用WordPress这类CMS的,站点地图通常已经自动生成,先去后台确认有没有。站点地图怎么写,看网站地图sitemap。
  5. 用site:和网址检查工具确认结果。site:加精确URL查这一页有没有被索引,网址检查工具查它当前的状态和规范页。提交是提示,收录是结果,两件事分开看。

谷歌收录查询:site: 和网址检查工具各查什么

site: 查的是Google已知的页面样本

site:后面跟域名,能看到Google已知的这个站点的页面样本;site:后面跟一个精确URL,能查这一页有没有被索引。查的时候优先查首页和最重要的几页。样本不等于全部,少几条不代表页面丢了。

网址检查工具查的是单个URL的真实状态

任意一个URL丢进网址检查工具,能看到Google认定的规范页是哪一个,以及这一页当前的索引状态。页面改过、或者你怀疑规范页指错了,用它查最直接。

页面索引报告查的是全站的数量

页面索引报告显示站点有多少URL被抓取和索引,它不用来查单个页面的状态。报告里的示例URL列表有条数上限,而且即使没到上限,也不保证把某个状态下的URL全列出来。站点规模小的时候,官方说大概不需要用这个报告。

入口 能查到什么 什么时候用
site: Google已知的站点页面样本,或某个精确URL在不在索引里 快速抽查关键页面
网址检查工具 单个URL的索引状态和Google认定的规范页 页面状态不明、怀疑规范页指错
页面索引报告 全站被抓取和索引的URL数量、未索引原因分类 整站排查、按问题类型批量修

三个入口查的是不同颗粒度:抽查用site:,定案用网址检查工具,批量修用报告。

谷歌收录要多久、有哪些数字限制

抓取时间官方写的是几天到几周,这个区间里没有更细的承诺。请求抓取也不保证内容会立刻甚至一定进搜索结果,系统会优先快速收录高质量、有用的内容。所以提交完第二天还没收录,不构成问题。

新页面和新站点要更慢一点,大概一周左右Google才开始抓取和索引,站是新的就先等几天再去查。

项目 数字 说明
抓取时间 几天到几周 官方原话是a few days to a few weeks,这段时间只能等和看
新页面、新站开始被抓取 约一周 新站先等几天,别上线当天就认定出问题
单个站点地图上限 50MB(未压缩)或50,000个URL 超了要拆成多个,再用索引文件一起提交
每个站点可提交的站点地图索引文件 最多500个 按Search Console账户里的站点算
页面索引报告的示例URL列表 上限1,000条 不保证显示某个状态下的全部URL

这些是官方写明的数,收录率和排名效果不在这张表里,也没有别的地方能查到一个准确值。

常见误区和排查:robots.txt挡不住网页出谷歌

误区一,用robots.txt隐藏网页

结论:robots.txt挡不住网页出现在谷歌结果里,用它是白用。官方警告的原句是「Don't use a robots.txt file as a means to hide your web pages (including PDFs and other text-based formats supported by Google) from Google Search results」。被它挡住的URL照样可能出现在结果里,只是那条结果没有描述;别的站带描述文字链过来,Google甚至不访问页面也能把这个URL收进去。

Google官方robots.txt文档警告说明画面,robots.txt挡不住谷歌收录
官方原句警告:别拿robots.txt当隐藏网页的手段。

真要挡,两个办法:页面加noindex,或者给文件加密码保护,页面不要了就直接删。robots.txt的指令也没法强制执行,服不服从看爬虫自己。规则怎么写、有什么副作用,看robots.txt。

误区二,反复对同一个URL点请求重抓

结论:点多少次都不会更快。单个URL的提交有配额,同一个URL反复请求重抓不会让它抓得更快。该做的是等,期间去看状态有没有变化。

误区三,提交站点地图就等于被收录

结论:提交只是提示。提交站点地图不保证Google会下载它,也不保证会用它去抓站里的URL。站点地图解决的是被发现,收不收还要看前面那三步。

误区四,靠meta keywords影响收录

结论:没用。meta keywords标签不被Google搜索使用,对索引和排名完全没有影响。堆这个词的收益是零。

误区五,指望站点每一个URL都被索引

结论:做不到,也不需要。官方说不要期待站点上所有URL都被索引,有些是重复页,有些本来就没有有意义的信息,保证关键页面进了索引就行。首页尤其要进,首页进了、站内链接正常的话,其他页面Google顺着也能爬到。

排查从哪一行开始看

页面索引报告里,优先处理验证状态是failed或not started、并且Source是Website的问题,这些一般自己能修。修完可以在报告里请求Google确认,全部已知实例修好了,问题计数会归零。

「收录API」「批量查询收录」「代提交收录」这类说法,和蜘蛛池、买收录一样,都是绕开正常抓取的路子,风险自己承担,本文不接。这类做法为什么不能碰,蜘蛛池与收录里有讲。

用AI整理收录排查清单,哪几步能交、哪几步必须自己做

收录排查里有一半是整理资料的活:把URL拉成清单、把未索引的原因归类、把规则对照一遍。这些能交给AI,判断和点击还得自己来。

  1. 把站点的URL清单整理成站点地图XML草稿,按协议生成urlset、loc、lastmod,你核对完再上传。
  2. 把页面索引报告里的未索引原因逐条归类,按能不能抓、让不让抓、值不值得收排好,每条附上对应的官方文档标题。
  3. 起草robots.txt和robots meta的检查清单,标出哪些页面被挡住、哪些规则互相冲突。

下面三条提示词是本文给的示例,不是官方模板,可以直接复制去用。

  • 「下面是我站点的URL列表,请按sitemaps协议生成XML站点地图草稿,只保留loc和lastmod,lastmod用我提供的日期,不要加priority和changefreq。」
  • 「这是我页面索引报告里未索引原因的截图文字,请按robots.txt挡住、noindex、重复页、404、其他五类归类,每类给出对应的Google官方文档标题,不要给排名建议。」
  • 「请检查这份robots.txt和页面head里的robots meta,列出所有可能阻止索引的规则,并标出互相冲突的规则(按更严格规则生效的原则)。」

有三件事只能自己做。一是在Search Console添加资源并完成验证,选哪种验证方式、按验证页说明操作,这一步没有替代。二是在网址检查工具里对首页和关键页面逐个点请求索引,看返回的抓取状态。三是在页面索引报告的未索引原因表里一行一行点开,看Source是不是Website,据此决定这一条是修还是留。

整理资料、对照官方文档、出改稿单这些活,猎者出海的AI Agent里的SEO/GEO优化员工能接:按能不能抓、让不让抓、值不值得收把站内页面过一遍,运营员工每周给一张改稿单,写清改哪几篇、先改哪篇。方向和验收还是你自己定。

常见问题

谷歌收录一个网站要多久?

官方给的时间是几天到几周,新站还要再慢一点,一周左右才开始抓取。等的时候用网址检查工具看状态,不要靠每天搜一次来判断。新站从哪一步开始做,看新站收录和排名。

页面没被收录,是不是一定有问题?

不一定。被规则挡住、重复页、本来就不该索引的页面,不收录是正常结果。用网址检查工具看具体原因,原因不合理再修。

提交了站点地图,为什么还是没收录?

提交只是提示,不保证Google下载,也不保证照着抓。站点地图解决发现的问题,收不收还要看页面能不能抓、让不让抓、值不值得收。

用WordPress建站,还要自己做站点地图吗?

大概率不用,WordPress这类CMS通常已经自动生成了一份可用的站点地图。先去后台和插件里确认有没有,再决定要不要自己再做一份。

页面索引报告要天天看吗?

小站大概不需要,官方说站点页数少的时候可以不用这个报告,查单页用网址检查工具更快。报告的价值在站点规模大、要按问题类型批量修的时候。

新站第一步该做什么?

给首页请求索引。官方说新站最好的第一步是为首页请求索引,这一步会启动Google对站点的抓取。首页进了索引,站内链接正常的话,其他页面顺着也能被发现。

Search Console要花钱吗?

不收钱。网址检查工具、站点地图报告、页面索引报告都在里面,不需要另外买工具。

收录这件事没有一次做完的说法。页面会继续加,规则也会继续改,隔一段时间把三步重跑一遍,比出了问题再翻后台省事。猎者出海的AI Agent能把这套流程里的整理和对照接过去,判断哪一页该修、哪一页该留,还是你自己拍板。

发表评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注