一、前言
同一组关键词，想在 Google、Bing、Yandex 上各搜一页、比比前排谁不一样——事情本身不难。若自己动手写抓取，却很容易变成 每个搜索引擎都要单独一套程序：页面一变就要跟着改，各家结果格式也不统一，很难并到一张表里对照。
然而Bright Data MCP+ Skill 直接就解决了上面问题——通过统一接口调用 Bright Data 的 SERP API，实现 Google、Bing、Yandex 多引擎搜索结果获取，而无需为每个搜索引擎单独维护抓取逻辑。用同一条工具链路去取 Google、Bing、Yandex 的搜索结果，切换搜索引擎更像改选项，而不是新开工程。Skill 侧重交付口径一致——将一页说明写入项目配置（或作为对话前的固定约束），要求模型在输出前，先把结果整理为结构统一的表格。这样我们不必再为每个搜索引擎分别维护一套采集程序。
二、为什么「多引擎数据抓取」困难重重
别看 SERP 只是列表页，如果乘上引擎数量以后，程序复杂度直线上升
| 对象 | 主要难点 | DIY 连续抓取翻车概率 |
|---|---|---|
| Google SERP | 反爬与结果形态迭代快、地区/语言敏感 | 高 |
| Bing SERP | 与 Google 摘要结构不同，DOM/解析需分叉 | 高 |
| Yandex SERP | 语言与地区差异、返回格式与中文团队经验弱 | 中高 |
| 横向对比 | 同一 keyword 多引擎、多 geo，表头与 rank 语义要对齐 | 极高（人肉最易崩） |
我们要的是多引擎搜索，然后对应的程序却是多套脚本。但是如果使用 Bright Data MCP 可以从 Google、Bing、Yandex 把结果拉回来； Skill 可以标明必须具备哪些列，以及哪一列标明「这一条是哪家搜索引擎」。这一步做好了，后面其实就是做问答展示优化、盯品牌词，还是把数据拿去训大模型，本质上都是在这份格式已经对齐的数据上接着加工；多加一个搜索引擎，通常是改选项或改配置，而不是从零再写一套抓取程序。
三、Bright Data MCP 与 Skill 如何配合
二者的分工，可以理解为两层能力边界： Bright Data MCP 解决 SERP 的稳定获取；Skill 解决结果的结构化交付与横向对齐。 缺少 Bright Data MCP，意味着仍需承担页面结构变更、地区参数与反爬策略的持续适配成本；缺少 Skill，则多引擎场景下的 rank 与位次叙述极易被混用——文本层面看似通顺，指标口径却在不知不觉中被模糊。
想自己试一下多引擎 SERP 抓取吗？直接用Bright Data MCP+ SERP API就可以！
四、操作步骤
1、前置准备
- Bright Data 账号
- API Token：Bright Data 设置界面获取
- 支持 MCP 的客户端
- 搜索引擎（Google/Bing/Bing）
2、配置 Bright Data MCP Server
在菜单中选择MCP，可以看到默认的搜索与提取就有搜索引擎爬取
继续进行配置，选择本地配置，我们要将Bright Data MCP配置到客户端
3、挂载Skill（Claude / Cursor）
将 serp_monitor_skill.md 可以配置在.cursor或者.claude下，在进行提问的时候都会走下面的配置，这里我将其配置在.cursor/skills下。serp_monitor_skill.md 我已放到文末。
4、执行SKILL
serp-monitor skill 先看用户的事是不是「要多引擎 SERP、批量词、盯排名、做 AEO 或要结构化数据进训练管线」——是的话就走 Bright Data MCP；接着按每条调用最多五个 query 的规则把关键词拆开，用 search_engine 或 search_engine_batch 分批拉齐 Google、Bing、Yandex；拉回来的内容要统一成约定好的字段（关键词、排名链接标题摘要、引擎、地区、抓取时间等，训练场景再压成 JSONL）；最关键的一步是交付不能只写总结，必须按每个关键词给出带 rank 的表格，必要时再做去重或汇总，免得模型只讲故事、没有可对账的数据；全程文档里只出现密钥占位符，真实 Token 只放在环境里。 多引擎、大批词、AEO 和 JSONL 都是在这条同一套流程上挂出来的用法，而不是另起一套规矩。接下来我们来操作实践一下
搜索下AI Agent信息
可以看到搜索出来结果，并进行排名
我们可以看到它搜了什么、用的哪家引擎、哪个地区：
1、best AI agents 2026 · google · us → 英文热点 + 美国视角。
2、top AI agent frameworks comparison · google · us → 框架对比类，也是美国视角。
3、AI Agent 是什么 怎么用 · google · cn → 中文概念/用法类，用中国地区参数。
我想用Bing搜索引擎进行搜索，这样问
使用Bing 搜索下AI Agent信息
可以看到Bright Data MCP执行
最终的结果数据
刚刚用 Bright Data MCP 在 Bing 上做了三组检索
- best AI agents 2026
- top AI agent frameworks 为 us
- AI Agent 智能体是什么 为 cn
英文两条主要是 2026 年最佳 AI Agent / 编码 Agent / 平台榜单和 LangChain、CrewAI、AutoGen、Dify 等框架对比类博客，但结果页最前面常有 Copilot 摘要和广告；中文一条则多是 知乎、百科、云厂商与开发者社区、IBM 中文等对「智能体是什么、怎么用」的入门与解读。Bing 返回的是整页 Markdown，要做干净排名得先剔摘要与商业位，然而 Google 返回的是 JSON ，处理逻辑完全不一样。
成本对比
| 方案 | 前期投入 | 月均维护 | 多引擎 SERP |
|---|---|---|---|
| 自建多引擎脚本 | 2–4 周 | >20h | 对齐成本高 |
| Bright Data MCP + Skill | <1 天 | <2h | 同一工具多 engine |
Bright Data MCP+SKILL节约了时间以及资金成本，可以说是首选。
👉 如果你不想再维护多套爬虫，可以直接用Bright Data 的方案，一天内搭好整套 SERP 数据管线。
五、SKILL
serp-monitor skill 面向的任务，是在 Cursor 中通过 Bright Data MCP 获取 Google、Bing、Yandex 的 SERP，并用于排名监测、批量关键词检索，或将结果整理为可追踪、可下游使用的结构化输出。其要点可归纳为：
1、工具调用：使用 search_engine（单次查询）与 search_engine_batch（单次 1–5 条查询），并可配置搜索引擎、地区与翻页参数。
2、批处理：查询数量超过单次上限时，需拆分为多批或循环调用，以符合接口约束。
3、交付规范：对监测类结果，输出需包含关键词、自然排名、链接、标题、摘要、搜索引擎、地区与抓取时间等字段；训练场景可采用每行一条记录的 JSONL。工具返回后，不应仅以叙述收尾，而应按关键词提供带排名的 Markdown 表格，必要时可依据长文档进行 URL 去重与综合排名等汇总。
---
name: serp-monitor
description: >-
Orchestrates Google/Bing/Yandex SERP via Bright Data MCP (search_engine,
search_engine_batch), normalizes for AEO tracking and LLM JSONL. Use for SERP
scraping, rank monitoring, batch keywords, search-derived training data, or
trend scouting (e.g. hot AI agents, coding agents, agent frameworks) from SERPs.
---
# SERP Monitor (Bright Data MCP)
## When to use
User wants SERP data, Google/Bing/Yandex results, AEO rank reports, JSONL for LLM pipelines, or **tech trend / product scouting** (e.g. “热门 AI Agent”、coding-agent 对比、LangGraph vs CrewAI 类 query 的批量采集与去重汇总) using Bright Data.
**Example query batches** (split into ≤5 per `search_engine_batch`; add Chinese mirrors if needed): `best AI coding agents 2026`, `top AI agent frameworks`, `Claude Code vs Cursor agent`.
## Core rules
1. **Tools**: `search_engine` (single query + optional `cursor`, `engine`, `geo_location`); `search_engine_batch` (1–5 queries in one call).
2. **Batches**: If more than 5 keywords, split into chunks of 5 for `search_engine_batch` or loop `search_engine`.
3. **Output**: For tracking, include `keyword`, `rank`, `url`, `title`, `snippet`, `engine`, `geo`, `retrieved_at`. For training JSONL, one JSON object per line with `query`, `results[]`, metadata.
4. **Final deliverable (ranking)**: After MCP returns, **do not end with a narrative-only summary**. Always give at least one **Markdown table per `keyword`** with organic `rank` (1…n) and the fields above; add **`retrieved_at`** in a one-line note. When useful, add **composite ranking** (URL dedupe + `best_rank` / `appearances`, or eTLD+1 domain counts) per the playbook. Skip tables only if the user explicitly asks for prose-only or raw JSON only.
5. **Tokens**: Never hardcode secrets; use `YOUR_BRIGHTDATA_API_KEY` in docs, real token only via env.
## Full playbook
See [claude_skills/serp_monitor_skill.md](../../../claude_skills/serp_monitor_skill.md) for step-by-step workflow, tables, and compliance notes.
六、常见问题
Q1: Bright Data 可以免费使用吗？
A: 可以，MCP 和 Discover API 提供免费层。
Q2: 抓 Google SERP 可以用代理吗？
A: 不可以，必须使用 SERP API，否则会返回 HTTP 403。
Q3: MCP 和 SERP API 有什么区别？
A: MCP 是工具接口层，SERP API 是实际的数据获取服务。
总结
在多引擎 SERP 场景下，使用 Bright Data MCP 可以保证获取数据，再以 Skill 固化输出表头及搜索引擎来源字段，二者共同构成可横向对照的数据基础，若缺少 Skill 约束，不同引擎下的位次与排名叙述在呈现层面易被合并解读，指标语义将出现系统性偏离。说白了，也就是Bright Data MCP 负责把路铺好，Skill 负责把规矩讲清楚——合在一起用，省心、也不容易乱套。用Bright Data MCP+ SERP API，把多引擎SERP抓取从「多套爬虫工程」变成「一个配置问题」，现在就可以开始免费试用
