Go Colly框架高阶技巧：如何在中间件中无缝切换代理IP

老板突然丢来一个紧急需求，要求两小时内抓取某竞品网站的几万条突发活动数据。这种时候，没时间搞什么微服务、分布式架构，你需要的是拔剑就战、即插即用的代码片段。

这就是一份专为“突发性数据需求”准备的 Go Colly 极客速查表 (Cheat Sheet)。废话不多说，直接上配置项和核心代码，复制、修改、运行，三步搞定防风控与数据抓取。

Go Colly 极客速查表：突发需求下的高并发伪装

核心痛点：突发需求往往伴随着高频次访问，最容易触发目标网站的单 IP 限频和无头浏览器检测。
速查方案：RoundRobinProxySwitcher (代理池轮询) + OnRequest 中间件 (动态UA/Cookie)。

1. 核心组件速览与限速配置

不要因为急就裸奔并发，必要的限速是保证成功率的前提。

c := colly.NewCollector(colly.Async(true)) // 开启异步提速
c.Limit(&colly.LimitRule{
    DomainGlob:  "*",
    Parallelism: 5,               // 突发需求可适当调高并发
    RandomDelay: 1 * time.Second, // 强制随机延迟防Ban
})

2. 中间件注入公式：动态 UA 与 Cookie

在 OnRequest 拦截器中伪装身份。不要依赖全局变量，针对每次请求动态组装 Header 最稳妥。

c.OnRequest(func(r *colly.Request) {
    // 注入 User-Agent
    r.Headers.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
    // 注入 Cookie (绕过登录墙或人机验证)
    r.Headers.Set("Cookie", "session_id=URGENT_TASK_MOCK_SESSION; csrf_token=123456")
})

3. 代理配置速查：无缝对接爬虫代理

突发需求直接买现成的爬虫代理。Colly 原生支持代理配置。

// 亿牛云爬虫代理格式：http://用户名:密码@域名:端口
proxies := []string{
    "http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8100",
    "http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8101",
}
proxySwitcher, _ := proxy.RoundRobinProxySwitcher(proxies...)
c.SetProxyFunc(proxySwitcher)

组合完整代码 (开箱即用)

将上面的片段组合，你就得到了一个具备IP动态切换、会话保持、身份伪装的高可用爬虫脚本。保存为 main.go，修改代理账号即可发车。

package main

import (
    "fmt"
    "log"
    "time"

    "github.com/gocolly/colly/v2"
    "github.com/gocolly/colly/v2/proxy"
)

func main() {
    fmt.Println("[Init] 突发任务启动，初始化 Colly...")

    // 1. 初始化并配置并发规则
    c := colly.NewCollector(colly.Async(true))
    c.Limit(&colly.LimitRule{
        DomainGlob:  "*",
        Parallelism: 3, 
        RandomDelay: 1 * time.Second,
    })

    // 2. 配置代理池 (请替换为实际的账号密码)
    proxyURLs := []string{
        "http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8100",
        "http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8101",
        "http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8102",
    }
    
    proxySwitcher, err := proxy.RoundRobinProxySwitcher(proxyURLs...)
    if err != nil {
        log.Fatal("[Error] 代理池组装失败:", err)
    }
    c.SetProxyFunc(proxySwitcher) // 注入代理切换器

    // 3. 注册中间件：请求前伪装
    c.OnRequest(func(r *colly.Request) {
        // 设置 User-Agent
        r.Headers.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36")
        
        // 设置 Cookie
        r.Headers.Set("Cookie", "urgency_level=high; auth_token=mock_token_999")
        
        // 补充通用 Header 降低特征
        r.Headers.Set("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
        
        fmt.Printf("[Fetch] 正在抓取: %s\n", r.URL.String())
    })

    // 4. 注册中间件：响应处理
    c.OnResponse(func(w *colly.Response) {
        fmt.Printf("[Success] 状态: %d | 长度: %d 字节 | 来源: %s\n", 
            w.StatusCode, len(w.Body), w.Request.URL.String())
        // TODO: 在这里写入你的快速解析逻辑 (例如 gjson 解析或 goquery 提取)
    })

    // 5. 错误降级处理
    c.OnError(func(r *colly.Response, err error) {
        fmt.Printf("[Failed] 抓取失败: %s | 报错: %v\n", r.Request.URL.String(), err)
    })

    // 6. 灌入突发任务目标 URL
    targetURLs := []string{
        "http://httpbin.org/ip",      // 测试代理IP是否生效
        "http://httpbin.org/headers", // 测试UA和Cookie是否生效
        "http://httpbin.org/get",
    }

    for _, url := range targetURLs {
        c.Visit(url)
    }

    // 7. 阻塞主协程，等待所有异步任务完成
    c.Wait()
    fmt.Println("[Done] 突发数据抓取任务完成！")
}

极客提示：在突发应急排障时，将此模板存入你的 Snippet 库（如 VSCode Snippets）。下次遇到需求，直接敲出前缀触发模板，填入 URL 和爬虫代理账密，5 分钟内即可开始跑数据。