Screaming Frog SEO Spider 免费版能爬 500 条 URL,这个数跟 Google 文档里 small 站点「约 500 页或更少」的口径刚好一样。也就是说,一个中小站做一次完整的技术 SEO 审计,不花钱也能跑完。它装在 Windows、macOS、Linux 上,官方标的能力是查出站点 300 多项 SEO 问题、警告和机会。
做英文站的人手上通常没有专职开发,页面出了问题是自己一条条查。爬虫的价值在于把「站上到底有哪些 URL、每个是什么状态、哪条链接指向死页面」一次性列成一张表,你拿着表去改模板、改插件设置、改文章里的链接。爬虫只负责把现状摊开,标题、内容、内链这些基础项怎么定,是 SEO 那一层的事。
- 这是什么:Windows、macOS、Linux 三个系统都能装的爬虫,查 300 多项 SEO 问题
- 免费版上限 500 URLs,付费版 £199 或 €245 一年,授权按用户计
- 默认爬的是 JavaScript 执行前的原始 HTML,要看渲染后的内容得开渲染,免费版没这个功能
- 爬完按 Issues、Internal、JavaScript 三个标签页看,再手动导出
官网给三个系统各准备了下载入口,装哪个按你电脑选。这篇只讲一件事:怎么用免费版把一个站爬出来,报告里哪几栏该看,看完怎么导成能直接交给开发的清单。
本文目录
Screaming Frog 是什么,为什么技术 SEO 审计先跑它
它是一个桌面端爬虫。你给它一个起始网址,它按站内链接一层层往下走,把每个 URL 的响应状态、页面标题、meta 描述、canonical、robots 指令、hreflang、字数、响应时间这些栏位记下来,走完给你一张表。三百多项说的是它能识别的问题类型,不是每一次都会全中,具体哪些触发,取决于你站的实际情况。
它替人干的活,集中在四个地方:
- 找出 404 死链和服务器错误,把错误清单和来源 URL 批量导出,可以直接发给开发
- 列出被 robots.txt、meta robots 或 X-Robots-Tag 指令(比如 noindex、nofollow)挡住的 URL
- 整理 canonical,以及 rel="next"、rel="prev" 这类分页标注的现状
- 按爬取结果生成 XML Sitemap 和图片 Sitemap,可配置包含哪些 URL、last modified、priority、change frequency
先跑它的理由很朴素:技术 SEO 的判断都要落在一张 URL 清单上。站上有多少个页面、哪些返回 200、哪些 301 到别处、哪些 404、哪些被 noindex、哪些互相 canonical,这些问题不先摊开,后面讨论「首页该不该改」「分类页要不要合并」全是空谈。爬虫给你这张清单,比手工点一百个链接靠谱。
它也能用内置的 Chromium 渲染网页,爬 Angular、React、Vue.js 这类动态站,但这属于渲染模式下的能力,免费版用不了。爬出来的每一栏对应什么标准、某个状态算不算问题、先改哪一类,是 技术SEO优化 要处理的范围,这篇只管把表跑出来。
免费版能做什么、不能做什么:500 条 URL 这条线怎么算
免费版能用的功能是实打实的:死链、错误与重定向、页面标题与元数据、meta robots 与指令、hreflang 属性、精确重复页面、XML Sitemap 生成、站点可视化。这几项拼起来,已经覆盖了技术 SEO 审计里最常见的一批问题。

付费才有的功能里,跟这次操作直接相关的有:JavaScript Rendering、Crawl Configuration、Save & Open Crawls、Crawl Comparison、Google Analytics 与 Search Console 和 PageSpeed Insights 的集成、Scheduling、Custom Search & Extraction。另外结构化数据校验、拼写与语法检查、无障碍审计、AI 集成这些也属付费,跟一次基础审计关系不大,知道有这回事就行。
上限那条线,官方标的是 Crawl Limit - 500 URLs。
付费版标的是 Unlimited,但最大 URL 数取决于你给程序分配的内存和存储,不是真的想爬多少爬多少。授权按用户计,两个人用就要两个独立授权,一份授权有效期 1 年,到期要续费。
爬之前要改哪几个设置:渲染、HSTS、限速
- 先按默认设置爬一次。默认是 text only 模式,爬的是 JavaScript 执行前的原始 HTML。死链、状态码、标题、meta 这些基础项,这一步就能全部拿到,不用改任何配置。
- 再判断要不要开渲染。入口在 Config > Spider > Rendering。如果你的站内容全靠客户端 JavaScript 生成,默认爬取经常只爬到首页返回 200,加几个 JS 和 CSS 文件,别的什么都没有。开了渲染,爬虫会同时爬原始 HTML 和渲染后的 HTML,把只在客户端才出现的内容和链接找出来。
- 决定要不要勾 Respect HSTS Policy。这一项默认是关的,关着的时候爬虫完全忽略 HSTS,直接报底层重定向和状态码。想按 HSTS 的实际效果看,就在 Configuration > Spider > Advanced 里手动勾上。
- 限速先不用动。25.0 版起有 auto throttle,遇到返回 429、503 或者直接断连的主机自动降速,主机恢复后逐步提速,主机完全没响应时暂停整个爬取。
渲染这一项要单独说一句。免费版不含 JavaScript Rendering,所以对免费用户来说它不是「开不开」的选择题,是这一项根本跑不起来。判断方法很简单:默认爬完看爬取条数,如果只有首页一条 200,加上几个静态资源,而你的站明明有几百个页面,那就是内容在 JS 里,免费版看不到。这时候要么放弃这一层,要么升级。想看渲染后的样子,也可以先用浏览器打开页面,看源码里有没有正文。

Respect HSTS Policy 这一项容易弄反。很多人以为爬虫默认按 HSTS 走,实际是默认关闭,关着的时候它把你站点上的 http 到 https 跳转当成普通重定向报出来。你想看的是「用户实际会不会被浏览器强制走 https」,那就勾上;你想看的是「服务器底层返回了什么」,那就保持关闭。两种目的对应两种设置,别混着看。
限速这块没有具体的请求数推荐值,先用默认值跑一遍,爬的时候看界面底部爬取速度旁边有没有限速提示。有提示说明对方主机在推回,等它自己恢复就行,不用手动去调并发。爬取中途整个崩了,先看版本号:25.1 于 2026 年 11 月 4 日发布,修的就是部分 Windows 缩放设置下爬取崩溃的问题,老版本升上去再试。
还有一条要提前想清楚:爬取会给目标服务器发请求。只爬自己的站,或者已经拿到授权的站,爬之前看一眼对方的 robots.txt 和站点条款,别把一个配置很弱的小服务器直接打到没响应。
爬完先看哪几栏:Issues、Internal、JavaScript 三个标签页
Issues 标签页
这是爬完之后第一个该打开的地方。25.0 版起,每一条问题都可以右键调整:禁用掉,或者改它的类型(Issue、Warning、Opportunity)和优先级(High、Medium、Low)。面板上能切换 Found in Crawl 和 All Issues,前者只显示这次爬取真的触发了的,后者把没触发的也列出来,还有一个搜索框可以按关键词找。

实操上先做减法。一个站爬完,Issues 里几十条是常态,里面有一半跟这次审计的目标无关,比如你这次只想处理索引和死链,那图片 alt 缺失、meta 描述过长这些先禁用或者降到 Low。剩下的才是要写进报告的。这一步不做,报告就是一张清单,开发看了不知道先动哪个。
Internal 标签页
这里放的是站内所有 URL 的明细表,点目录树图标可以切到目录树视图,看站内的层级结构长什么样:哪个目录下堆了几百个页面,哪个分类只有一页,一眼就能看出来。目录树对判断「站内结构是不是摊得太平」有用,比翻 URL 列表快。
JavaScript 标签页
这个标签页只有在开了渲染、爬过一遍之后才有内容。它里面是一组围绕客户端 JavaScript 常见审计问题做好的筛选列表,会标出某个页面的内容是不是只在渲染后的 HTML 里才出现。动作很简单:把这些「只在渲染后出现」的条目挑出来,整理成一份给开发的活。这类问题不是改文案能解决的,得动前端渲染方式。
可视化当汇报图用,别当排查工具
可视化里绿色节点是可索引页面,浅红色是非索引 URL。force-directed 那张图可以右键节点,选 Show Inlinks、Show Inlinks to Children 或 Outlinks,看这个页面的入链和出链;也能按 unique inlinks、Link Score 或者外部指标缩放节点大小。听起来很强,但官方自己写明了:可视化不提供比爬取数据更多的数据,通常不是诊断问题的最佳方式,而且它只显示从起始 URL 到某个页面的单条最短路径。
所以这张图的正确用法是放进汇报材料里,让不看表的人三秒钟知道站长什么样。真要查「这个页面为什么没被收录」,还得回 Internal 标签页看它的状态码、canonical 和入链数。
最后一条回查习惯:报告里某一类问题一条都没有,先别高兴,去看爬取总条数有没有顶到免费版的上限被截断。截断之后没爬到的那些页面,自然什么问题都不会报。
导出这份审计报告:导什么、给谁看
要交给开发的,是错误清单。爬虫支持把错误和来源 URL 批量导出,导出来的表里既有出问题的地址,也有「这个链接是从哪个页面指过去的」,开发拿着这张表就能定位到模板或者某篇文章的正文。
要交给客户或者上级的,是可视化。点可视化右上角的 save 文件图标,格式二选一:HTML 可以在任何人的浏览器里打开,还能点、还能拖动;SVG 是纯矢量图,没有交互。要发给人自己看,选 HTML;要贴进 PPT 或者文档里,选 SVG。
文件名不用手工改。25.0 版起可以自定义导出文件名,用日期、日期时间、域名、项目名、爬取名、报告名这些 token 拼,同一个站每个月导一次也不会混在一起。
免费版还有一个限制要注意:定时通知和自动导出(Email Notifications & Exports)属于付费功能,免费版每次都要手动点导出。如果你的审计是每月固定一次,那就把「打开程序、爬一遍、导三张表」写成一个固定动作,别指望它自己跑。
导出之后还有一步值得做:拿爬到的 URL 清单跟站上的 XML 站点地图 对一遍,能看出哪些页面爬得到但没进 sitemap,哪些进了 sitemap 却已经 404 或者被 noindex。
数字和限制:做这件事会用到的几个数
| 项目 | 数值 | 对做这件事意味着什么 |
|---|---|---|
| 免费版爬取上限 | 500 URLs | 一次审计的 URL 预算,超了要按目录分段爬,或者上付费版 |
| 付费版价格 | £199 每年(产品页)、€245 每年(定价页) | 决定要不要为渲染和定时功能升级 |
| 授权期限 | 1 年,到期续费 | 按用户计,两个人干活要两份授权 |
| 2D 可视化显示上限 | 10k URLs,右键 focus 可以再展开最多 10k | 中小站根本碰不到,知道有这回事即可 |
| 3D force-directed 图 | 可扩展到 100k URLs | 同上,站点规模没到这一步不用管 |
这几行里真正影响操作的只有第一行:上限之内的站,免费版一次跑完;超出的站,把站按目录拆成几段爬,或者直接买授权。批量折扣 5 个授权起才有,团队采购才用得上,一个人做站不用管这一条。
常见误区:四件容易弄反的事
默认爬取能看到 JavaScript 生成的内容。不是。默认是 text only 模式,爬的是 JS 执行前的原始 HTML,靠 JS 渲染出来的正文和链接,默认这一遍看不到。
可视化能提供比表格更多的数据。不是。可视化里的每一个节点、每一条连线,都是从爬取数据里来的,它不额外产出信息,也不是诊断问题的好工具。
可视化画出了站内每一条内部链接。不是。它只画从起始 URL 到某个页面的单条最短路径,其他的链接为了图能看清被省掉了。想知道一个页面到底有多少入链,回 Internal 标签页看数字。
HSTS 策略默认生效。不是。它默认关闭,要手动去 Configuration > Spider > Advanced 勾上 Respect HSTS Policy 才起作用。
出问题的时候按这个顺序回查:爬取条数明显偏少,看有没有顶到上限被截断;某一类问题一条都没有,看是不是内容在 JS 里而你没开渲染;爬取越跑越慢或者卡住,看界面底部的限速提示;程序直接崩了,看版本号是不是老版本。
报告里出现频率最高的两类问题,一是 URL 被 robots.txt 挡住,二是 canonical 指错了地方。这两类的规则各自独立,前者看 robots.txt 的写法,后者看 Canonical 标签 怎么设。有一点要提前分清:robots.txt 主要是管理爬虫流量用的,不是把网页挡在 Google 之外的手段,真要挡索引得用 noindex 或者密码保护。
爬虫之外还要配什么:日志和工具链
爬虫看到的是「你的站上有哪些 URL、它们现在什么状态」,它看不到 Googlebot 实际来抓了哪些、多久来一次、抓到的是什么响应。这两件事的答案在服务器日志里。多数卖家的做法是:爬虫导一份 URL 清单,服务器日志导一份,两边按 URL 对起来,看哪些页面被爬虫认为存在、但 Googlebot 从来没来过,哪些页面 Googlebot 天天抓但返回的是 301。要看具体怎么筛日志,服务器日志分析 那套流程能直接用。
还有一层是站外和关键词。爬虫只在你自己的站里走,外链情况、关键词难度、竞品排了哪些词,它一概不管。这部分得换工具:日常查词和看竞品用 SEO 常用工具 里那几款够用,要深挖外链和关键词数据就看 Ahrefs 三个模块 怎么分工。爬虫的定位是查站内技术问题,别指望它替你做选词。
AI 能帮哪几步,哪几步必须人来做
AI 在这套流程里能干四件事。先说最关键的,把「这次要爬哪个站、爬多少条、要不要开渲染」写成一段配置说明,25.0 版起配置文件是 JSON 格式,机器能读人也能读,AI 助手可以按自然语言帮你调整。接着,把导出的 Issues 列表按类型和优先级归类,整理成审计报告的问题清单草稿。还有个活儿,把 JavaScript 标签页里「只在渲染后 HTML 出现」的条目,翻成开发看得懂的修改说明。最后,把可视化导出的 HTML 或 SVG 配上文字,写成给客户或上级的汇报段落。
有三件事必须你亲手做。先说最关键的,在 Config > Spider > Rendering 里决定这次爬取开不开渲染,这个开关决定你这次能看到什么,AI 替你点了你也不知道结果意味着什么。接着,爬完打开 Issues 标签页,右键把跟本次目标无关的问题禁用或者降级,哪些进报告是你对这次审计范围的定义。最后,点可视化右上角的 save 图标,选 HTML 还是 SVG,给谁看、用什么格式,取决于你要说服的人。
下面三条提示词是本文给的示例,不是官方模板,可以直接复制改。
「我有一个站点 [网址],用 Screaming Frog 免费版爬,上限 500 URLs。请帮我列一份爬取前的配置清单:哪些项保持默认、哪些项要改,每项写清在哪个菜单下。」
「下面是我从 Screaming Frog 导出的 Issues 列表 [粘贴]。请按 Issue、Warning、Opportunity 三类分组,每类按优先级 High、Medium、Low 排序,输出一张表,列名用:问题名、类型、优先级、影响页面数、建议动作。」
「下面是我从 JavaScript 标签页导出的条目 [粘贴]。请逐条判断是内容只在渲染后 HTML 出现、还是链接只在渲染后 HTML 出现,并给开发写一句修改建议,不要写具体代码。」
站上线之后的日常运营是另一回事。猎者出海的AI Agent 在「上线运营」这一块会自己拉数据,每周给一张单子:改哪几篇、改什么、先改哪篇。
常见问题
Screaming Frog 免费版能爬多少条 URL?
免费版的上限就是爬取条数这一条线,够一个中小站从头爬到尾。站再大就得按目录拆开分段爬,或者买授权。
免费版和付费版差在哪,值不值得买?
差在渲染、配置保存、两次爬取对比、Google 三个接口的集成、定时任务这些。如果站是纯客户端渲染,或者你需要每月固定跑一次并自动出报告,这笔钱省不掉;只做基础死链和元数据检查,免费版够用。
爬出来只有首页一条 200,其他都没有,是怎么回事?
大概率是内容全靠 JavaScript 生成,默认的 text only 模式看不到。先确认站是不是这种架构,是的话要么开渲染(付费功能),要么先用浏览器打开几个页面,看源码里有没有正文。
爬取被限速或者中途停了怎么办?
看界面底部爬取速度旁边有没有限速提示,有就等主机恢复,程序会自己提速。如果程序直接崩了,先升到 25.1 以上再试,这个版本修了一部分 Windows 缩放设置下的崩溃问题。
报告里 Not indexed 的页面要全部处理吗?
不用。Not indexed 本身不代表出错,要看具体原因:被 robots.txt 或 noindex 挡住的、重复页、带筛选参数的变体,本来就不该进索引。真正要处理的是那些你认为该被收录、却因为 canonical 指错或者返回 4xx 而被挡在外面的页面。
只爬自己的站可以吗,爬别人的站行不行?
robots.txt 的规则本身不能强制爬虫行为,取决于爬虫是否遵守。
把上面这些串起来,一次完整流程就是:装好,按默认设置爬一遍,看 Issues 里剩下哪些该管,需要渲染的站单独处理 JS 那一层,导三张表,交给开发和上级。一个站的第一次技术 SEO 审计,能出一份能动手改的清单。

发表评论