在 Chrome 扩展里抓网页 AI 的工具调用:patch fetch 和看 DOM,我两条路都跑过

21 阅读1分钟

上周想给扩展加个开关,翻自己的代码,翻出一段从来没跑过的分支。

extension/src/injected/index.ts 里 monkey-patch 了 window.fetch,边收流边用正则匹配 <tool> 标签。写得挺认真,还带跨 chunk 的 buffer。但它在生产里一次都没执行过——因为 getSiteConfig() 里两个站点的 useObserver 都写成了 true:

if (!cfg.useObserver) {
  const script = document.createElement('script');
  script.src = chrome.runtime.getURL('injected.js');
  (document.head || document.documentElement).appendChild(script);
} else if (cfg.responseSelector) {
  startDOMObserver(cfg.responseSelector);
}

也就是说,这几个月跑的一直是 DOM 观察器那条路,fetch 那条只活在我的编辑器里。把 flag 写成常量,等于给自己埋了条看不见的岔路。

不过这两条路我都真跑过,各有各的死法。这篇把两套实现摊开,包括那些只有自己踩过才知道的细节。

路线一:patch fetch,直接读模型吐出来的字

网页 AI 的回复是流式的,fetch 回来的 body 是一条 SSE 或者 NDJSON 的流。想要最早拿到 <tool name="read_file">,没有比在流里拦一刀更快的办法。

做法是包一层 window.fetch,把 response 的 body 拆开,一份原样交还给页面,一份自己解析:

const originalFetch = window.fetch;
let buffer = '';

window.fetch = function (...args) {
  const decoder = new TextDecoder();
  return originalFetch.apply(this, args).then(async (response) => {
    const reader = response.body!.getReader();
    const stream = new ReadableStream({
      async start(controller) {
        while (true) {
          const { done, value } = await reader.read();
          if (done) { buffer = ''; break; }
          buffer += decoder.decode(value, { stream: true });

          let match;
          while ((match = buffer.match(/<tool(?:\s[^>]*)?>[\s\S]*?<\/tool(?:_call)?>/))) {
            const full = match[0];
            // 去重后 postMessage 给 content script
            buffer = buffer.replace(full, '');
          }
          controller.enqueue(value);
        }
        controller.close();
      },
    });
    return new Response(stream, { headers: response.headers, status: response.status });
  });
};

必须在 document_start 就把这段插进页面主世界。MV3 里 content script 默认跑在 isolated world,window.fetch 是另一份,改了对页面没有任何影响,所以要走 web_accessible_resources 再插一个 <script>:

"web_accessible_resources": [
  { "resources": ["injected.js"], "matches": ["*://*.gemini.google.com/*", "*://aistudio.google.com/*"] }
]

坑一:标签跨 chunk

<tool> 被切成 <to 和 ol> 是最基本的情况。所以你只能攒 buffer,不能逐 chunk 匹配。攒了就得判断"这段结束了没有",而流的结束信号只有 done —— 等到 done,模型早就说完了,那还不如看 DOM。

坑二:模型会重写自己

这个坑比跨 chunk 恶心得多。Gemini 在生成过程中会整段重来——不是追加,是把已经吐出来的内容换掉。你在 buffer 里攒了半截 <tool name="write_file"><parameter name="pa,然后它一重写,buffer 变成 好的,我来帮你修改文件。。那半截只能丢掉,但你没法判断它到底是"还没写完"还是"已经作废"。

我试过用时间窗口(连续 1.5 秒没有新数据就认为这段完了),也试过在 buffer 里只保留最后 8KB。都有毛刺:网络卡一下,窗口误判;模型话说得长,8KB 装不下。

坑三:换一个站点就重写一遍

Gemini 和 AI Studio 的流格式不一样,一个是 SSE,一个是换行分隔的 JSON。这还只是两家。真要做成通用的,每个站点要单独写一套流解析,等于把"适配 DOM 改版"的活换成"适配协议改版"的活,一点没省。

最后我承认:流里能拿到的只有"模型说了什么",拿不到"用户看见了什么"。这两件事在网页里不一定一致——

路线二:看 DOM,慢但只有一份真相

DOM 观察器慢半拍,但它看到的是渲染结果。模型重写自己、页面重新排版、流式光标,这些都不影响它,因为浏览器只会把最终的样子画出来。

代价是需要处理三件事:什么时候扫、扫哪里、扫出来是什么。

什么时候扫:防抖是不够的,得有兜底

let debounceTimer: ReturnType<typeof setTimeout> | null = null;
let maxWaitTimer: ReturnType<typeof setTimeout> | null = null;
const pendingContainers = new Set<Element>();

function scheduleScan(container: Element) {
  pendingContainers.add(container);
  if (!maxWaitTimer) {
    maxWaitTimer = setTimeout(() => { maxWaitTimer = null; flush(); }, 3000);
  }
  if (debounceTimer) clearTimeout(debounceTimer);
  debounceTimer = setTimeout(flush, 800);
}

只有防抖会出事:流式输出时每 50 毫秒就有一个 characterData 变更,纯防抖的计时器一直被重置,永远不触发。所以必须再挂一个 3 秒的 maxWaitTimer 强制冲刷。

800 和 3000 是手调的。800 毫秒是"一句话说完"的量级,3 秒是"一次工具调用块写完"的量级。前者决定你响应多快,后者决定你在长回复里最多会扫几次全量文本。

扫哪里:只认 response 容器

MutationObserver 挂在 document.body 上,childList + subtree + characterData 全开。页面在流式生成的时候,整个 body 都在动,如果每次变更都扫全文,CPU 会被吃掉。

所以先把变动的节点往上爬,找它属于哪个"回复容器":

function findResponseContainer(el: Element | null): Element | null {
  while (el) {
    const tag = el.tagName.toLowerCase();
    if (tag === 'message-content') return el;   // Gemini
    if (tag === 'ms-chat-turn') return el;      // AI Studio
    el = el.parentElement;
  }
  return null;
}

认这几个奇怪的标签名,是因为它们是 Angular 组件的宿主元素。它们不会因为内部重渲染被换掉——而里面那层 div 会。找稳定锚点,是这个方案里唯一需要针对站点硬编码的部分,比解析流诚实得多。

扫出来是什么:文本里混着图标字

innerText 不能用,因为流式生成时它会把正在变化的节点也算进去,而且会把隐藏元素展开。我写了一个递归的 extractText:

const BLOCK_TAGS = new Set(['P','DIV','BR','LI','TR','PRE','BLOCKQUOTE','H1','H2','H3','H4','H5','H6']);
const SKIP_TAGS = new Set(['MS-THOUGHT-CHUNK','MAT-ICON','SCRIPT','STYLE','BUTTON','MAT-EXPANSION-PANEL-HEADER']);

两处必须跳过,都是血泪:

  • aria-hidden="true" 的元素。Material Icons 是字体图标,它的"文字"就是图标名。不跳过,你会从每条回复里读到 expand_more、content_copy 这种东西。
  • MS-THOUGHT-CHUNK。"思考过程"折叠区,展开的时候它会和正文一起被扫进来,你的 <tool> 正则可能匹配到模型在思考里"举例"的那段假代码。

块级元素前面补一个 \n,是因为工具调用的 XML 是多行的,<parameter> 之间靠换行分隔。不补,</parameter><parameter> 会粘在一起,正则能匹配但人看不懂日志。

去重是最容易漏的一环

流式输出的文本每次都在长,同一个 <tool> 会在几次扫描里被重复看见。所以去重键要能抗住"内容变化":

const convId = getConversationId();                       // 从 URL 里取会话 id
const key = data.callId
  ? `${convId}:${data.name}:${data.callId}`
  : String(hashStr(full));

有 call_id 就用它,这是模型自己给的、跨扫描稳定的标识。没有就退化成内容哈希——这种时候如果模型重写了参数里的一个空格,哈希就变了,会重复执行。所以我在提示词里强制要求每条调用都带 call_id,这不是洁癖,是为了让去重键稳定。

内存里的 Set 在页面刷新后清空,所以还要在 localStorage 里落一份,带 7 天 TTL:

const TTL = 7 * 24 * 60 * 60 * 1000;
function markExecuted(key: string) {
  const store: Record<string, number> = JSON.parse(localStorage.getItem('openlink_executed') || '{}');
  const now = Date.now();
  for (const k of Object.keys(store)) if (now - store[k] > TTL) delete store[k];
  store[key] = now;
  localStorage.setItem('openlink_executed', JSON.stringify(store));
}

7 天是拍的。太短,昨天刷新页面今天就重跑一遍危险命令;太长,localStorage 会被塞满,而且那时候你早就忘了那条 rm 是怎么被执行的。

两条路的账

patch fetchDOM 观察器
首次拿到调用的延迟接近 0800ms–3s
模型重写导致的错乱会不会
换站点重写流解析换几个选择器
站点改版不瞎直接瞎
需要的手段MAIN world 注入纯 content script

我最后留在 DOM 上,理由是"模型会重写自己"这一条。快 800 毫秒换一个偶尔把参数解析错、去重失效的执行链,这笔账我算不过来——尤其是执行 write_file 这种事的时候。

还没做的两件事

把 800ms 降下来。 现在是无脑等 800 毫秒。更好的做法是判断"文本长度最近还变不变",配合 requestIdleCallback,稳定了立刻扫,不稳定就等。理论上能压到 200–300 毫秒,而且不会误判。

别等闭合标签。 现在是必须等到 </tool> 才认,也就是说整个调用块渲染完才能开始执行。如果改成"看到 <tool name= 就开始前瞻扫描,先解析已经出现的 <parameter>",可以把等待时间砍掉一半以上,代价是解析器要能处理"参数还没写完"的中间状态。这一条我还没想清楚怎么做 call_id 去重——半截调用的 key 和完整调用的 key 不一样。

代码在 github.com/afumu/openl…,extension/src/content/index.ts(872 行)和 extension/src/injected/index.ts(101 行)就是这两条路的全部实现,注释里留了不少我当时踩坑的记录。上面第二件事如果有人做过,我想看看你是怎么处理半截调用的去重的。