Google 搜索的三步流水线：抓取、索引、排序 | SEO 入门

三步流水线：抓取 → 索引 → 排序

Google 官方把搜索拆成三个独立阶段：

1. 抓取（crawling）——Googlebot 等爬虫沿着链接发现并下载页面（文本、图片、视频）。
2. 索引（indexing）——分析页面内容和关键标签（比如 <title>、图片的 alt），把信息存进「索引」这个巨型数据库。
3. 排序 / 呈现（serving）——用户一搜，Google 从索引里挑出相关结果，按相关性和质量排好序返回。

这三步互相独立、缺一不可。任何一步出问题——抓不到、不被索引、排不进——页面都拿不到自然流量。所以技术 SEO 的本质，就是保障这三步畅通。

📷 配图位：横向三栏流水线图，从左到右「抓取 Crawling → 索引 Indexing → 排序 Serving」，每栏配一个小图标（爬虫 / 数据库 / 搜索结果列表）

第一步抓取：Google 怎么找到你的页面

很多人以为网上有一份「所有网页的总目录」，Google 照着抄就行。并没有——Google 明确说「没有一个所有网页的中央注册表」。

既然没有总名册，Google 只能主动去发现新页面，途径主要两类：

- 它之前已经访问过的页面；
- 从已知页面里抽取出来的链接（比如一个分类页 / 枢纽页链向了新文章）。

而且 Googlebot 用「算法过程决定抓哪些站、多久抓一次、每个站抓多少页」，还会刻意控制速度，免得把你的服务器压垮——这就是所谓「抓取预算（crawl budget）」的来源。

两个最坑人的误区：收录≠排名，robots.txt≠隐藏

误区一：「提交给 Google / 被收录了就能排名」。 两个连环坑都要破：

- *被处理 ≠ 被索引*——Google 明说「索引不保证，并非每个被处理的页面都会被索引」。低质内容、robots meta 规则、糟糕的站点设计都可能让页面进不了索引。
- *被索引 ≠ 能排名 / 出现*——一个页面可能被索引，却因为内容不相关、质量低或 robots 规则而压根不出现在结果里。

还有一条铁律：Google 不接受付费来把页面排得更靠前，排名由程序完成（自然结果和广告是两码事）。所以 SEO 的功夫在内容的相关性与质量，不在「提交」或买排名。

误区二：「在 robots.txt 里 Disallow 就能让页面从 Google 消失」。 这是错的：

- 被 robots.txt 屏蔽的 URL，如果别处有链接指向它，Google 仍可能发现并索引它，搜索结果里照样会冒出这个 URL。
- 更隐蔽的坑：robots.txt 一屏蔽，爬虫根本读不到页面里的 noindex 标签，于是 noindex 失效，页面反而留在结果里。

要真正让页面不被索引，得用 noindex（meta robots 或 X-Robots-Tag HTTP 头），并且保证这页没有被 robots.txt 屏蔽、爬虫能正常抓到。robots.txt 的正经用途是「避免抓取压垮站点」，不是用来隐藏页面。