golang 爬虫之 gospider (requests--基础篇)

433 阅读1分钟

gospider 介绍

gospider 是一个golang 爬虫神器,它内置了多种反爬虫模块,是golang 爬虫必备的工具包

安装

go get -u gitee.com/baixudong/gospider

gitee地址

https://gitee.com/baixudong/gospider

github地址

https://github.com/baixudong007/gospider

请求例子

package main

import (
	"context"
	"log"

	"gitee.com/baixudong/gospider/requests"
)

func main() {
	reqCli, err := requests.NewClient(context.TODO())
	if err != nil {
		log.Panic(err)
	}
	response, err := reqCli.Request(context.TODO(), "get", "http://myip.top")
	if err != nil {
		log.Panic(err)
	}
	log.Print(response.Text())
}