使用go-retryablehttp包实现http“链接池”效果，2024年最新作为Golang开发程序员

在go中使用http的方式获取数据时每次通常都会创建一个http的Client对象处理请求，但是如果一次任务中请求的非常频繁，每一次请求都要创建一个Client对象的话势必会造成链接资源的浪费。

在实际中我们知道有一种“链接池”的概念，就是说提前在链接池中创建好链接，每一次请求前都从这个“链接池”中获取链接，请求处理完毕后不释放链接而是将这个链接重新放入链接池中，以便下一次请求使用，这样便十分有效的利用了链接资源，同时也有效的降低了服务器的负载。

Go中有一个第三方包go-retryablehttp能够实现上述的效果。

实现链接池

package utils

import (
    "crypto/tls"
    "github.com/hashicorp/go-retryablehttp"
    "net"
    "net/http"
    "sync"
    "time"
)

const (
    ConnectTimeout = 10 \* time.Second
    RequestTimeout = 30 \* time.Second
)

// 加一个锁 防止多线程同时写入字典的情况
var muClient sync.Mutex

func GetHttpClient(tag string, config \*tls.Config) \*http.Client {
    muClient.Lock()
    // 连接池字典
    clientMap := make(map[string]\*retryablehttp.Client)

    // 带证书认证的结构
    transportMap := make(map[string]\*http.Transport)

    defer muClient.Unlock()
    // 如果是一个带证书的请求，在这里处理
    if config != nil {
        if \_, ok := transportMap[tag]; !ok {
            transportMap[tag] = NewTransport()
            transportMap[tag].TLSClientConfig = config
        }
        return &http.Client{
            Transport: transportMap[tag],
            Timeout:   RequestTimeout,
        }
    }
    if \_, ok := clientMap[tag]; !ok {
        clientMap[tag] = NewRetryHttpClient()
    }
    return clientMap[tag].StandardClient()
}

// 使用http连接池
func NewTransport() \*http.Transport {
    dialContext := (&net.Dialer{
        Timeout:   ConnectTimeout,
        KeepAlive: 30 \* time.Second,
    }).DialContext

    return &http.Transport{
        Proxy:                 http.ProxyFromEnvironment,
        DialContext:           dialContext,
        MaxIdleConns:          100,
        MaxConnsPerHost:       25,
        IdleConnTimeout:       30 \* time.Second,
        TLSHandshakeTimeout:   ConnectTimeout,
        ExpectContinueTimeout: 1 \* time.Second,
    }
}

func NewRetryHttpClient() \*retryablehttp.Client {
    retryClient := retryablehttp.NewClient()
    retryClient.RetryMax = 10
    retryClient.Logger = nil
    return retryClient
}

使用链接池并发处理http请求

package main

import (
    "fmt"
    "http\_pool/utils"
    "io/ioutil"
    "log"
    "net/http"
    "sync"
)

func main() {

    // 使用 waitGroup开goroutine
    wait := sync.WaitGroup{}
    for i := 0; i < 10; i++ {
        wait.Add(1)
        go getBaidu(i, &wait)
    }
    // 等子goroutine走完了再走主的
    wait.Wait()
    fmt.Println("------ 所有goroutine均请求完成 ------")
}

// 测试请求百度链接的代码 ———— TODO 里面使用 "http链接池" 做优化
func getBaidu(i int, wait \*sync.WaitGroup) {
    // 在这里写 wait.Done()


![img](https://p9-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/d43848e8533e46ada0510653deb6148d~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5py65Zmo5a2m5Lmg5LmL5b-DQUk=:q75.awebp?rk3s=f64ab15b&x-expires=1771252698&x-signature=DOKACf%2Bh4lpW%2Fs8otdjOp0mcOHk%3D)
![img](https://p9-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/feb2f32b55904c0a9d578a7e1ef6105b~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5py65Zmo5a2m5Lmg5LmL5b-DQUk=:q75.awebp?rk3s=f64ab15b&x-expires=1771252698&x-signature=7fMnpL7AHvb9uZgUyfaHqyQNm2s%3D)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://gitee.com/vip204888)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**