Go语言实战:在线词典| 青训营

78 阅读7分钟

这同样是一个很常见的使用Go语言来发送HTTP请求、解析json的实例。

内容介绍

用户输入查询一个单词,我们通过调用第三方API查询到单词的翻译并打印出来。

一、抓包

我们这里以彩云科技提供的在线翻译为例。

彩云小译 - 在线翻译 (caiyunapp.com)

1.首先我们先点击链接进入彩云小译官网。

2.我们鼠标右键选择检查或者你可以通过F12来打开浏览器的开发工具,选择网络

3.在左边的文本框内输入你要查的单词,点击翻译。

4.我们发现马上右边就发生了变化,我们选择dict,先看标头,确保请求方法是POST的。

5.然后我们查看负载,我们不难发现source里面就是我们查询的单词,trans_type里面en2zh就是表明英文转中文。

6.我们接着点开预览,我们在这不仅能够看到名词解释,还有音标等其他信息

现在我们将这个请求转化成Go语言的形式

由于刚才那个请求比较复杂,用代码构造很麻烦,所以我们用到一个简单的方法来生成代码。

1.我们右键dict,选择复制,再选择复制为cURL,我们就可以得到一大段json数据。

2.我们打开这个网址Convert curl commands to code ,粘贴刚刚的cURL请求,在右边的语言里选Golang就能够看到一串很长的代码,我们直接把它复制到我们的编辑器里。有几个请求头比较复杂,生成的代码可能会有编译错误,我们直接删除这些报错行即可,一般不影响我们的后续。 这是我们刚才得到的代码:

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "strings"
)

func main() {
    client := &http.Client{}
    var data = strings.NewReader(`{"trans_type":"en2zh","source":"good"}`)
    req, err := http.NewRequest("POST", "https://api.interpreter.caiyunai.com/v1/dict", data)
    if err != nil {
       log.Fatal(err)
    }
    req.Header.Set("Connection", "keep-alive")
    req.Header.Set("DNT", "1")
    req.Header.Set("os-version", "")
    req.Header.Set("sec-ch-ua-mobile", "?0")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36")
    req.Header.Set("app-name", "xy")
    req.Header.Set("Content-Type", "application/json;charset=UTF-8")
    req.Header.Set("Accept", "application/json, text/plain, */*")
    req.Header.Set("device-id", "")
    req.Header.Set("os-type", "web")
    req.Header.Set("X-Authorization", "token:qgemv4jr1y38jyq6vhvi")
    req.Header.Set("Origin", "https://fanyi.caiyunapp.com")
    req.Header.Set("Sec-Fetch-Site", "cross-site")
    req.Header.Set("Sec-Fetch-Mode", "cors")
    req.Header.Set("Sec-Fetch-Dest", "empty")
    req.Header.Set("Referer", "https://fanyi.caiyunapp.com/")
    req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
    req.Header.Set("Cookie", "_ym_uid=16456948721020430059; _ym_d=1645694872")
    resp, err := client.Do(req)
    if err != nil {
       log.Fatal(err)
    }
    defer resp.Body.Close()
    bodyText, err := ioutil.ReadAll(resp.Body)
    if err != nil {
       log.Fatal(err)
    }
    fmt.Printf("%s\n", bodyText)
}

我们来看一下这生成的代码

1.首先第12行我们创建了一个 HTTP Client,创建的时候可以指定很多参数,包括比如请求的超时是否使用Cookie 等。

2.接着在第14行,我们构造了一个 HTTP 请求,这是一个POST请求,然后会用到HTTP.NewRequest,第一个参数是 HTTP请求方法POST, 第二个参数是URL, 最后一个参数是body。由于body可能很大,为了支持流式发送,是一个只读流。我们用了strings.NewReader来把字符串转换成一个流,这样我们就成功构造了一个 HTTP Request。

3.接下来我们需要对这个HTTP request来设置一堆header,我们把我们调用client.do request,就能得到response,如果请求失败的话,那么这个error就会返回nil,会打印错误并退出程序。

response有它的 HTTP 状态码, response header和body。 body同样是一个流,在golang里面,为了避免资源泄露,我们需要加一个 defer 来手动关闭这个流,这个 defer 会在当前函数运行结束之后去执行。接下来我们使用ioutil.ReadAll来读取这个流,就能得到整个Body。然后我们再用print打印出来。

我们来运行这段代码,我们能看到我们已经能够成功的发出请求,把返回的json打印出来,但是现在那个输入是固定的,我们是要从一个变量来输入,我们需要用到json序列化。

在golang里面,我们需要生成一段json,常见的方法是我们先构造出来一个结构体,这个结构体和我们需要生成的json的结构是一一对应的。

如下所示:

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
)

type DictRequest struct {
    TransType string `json:"trans_type"`
    Source    string `json:"source"`
    UserID    string `json:"user_id"`
}

func main() {
    client := &http.Client{}
    request := DictRequest{TransType: "en2zh", Source: "good"}
    buf, err := json.Marshal(request)
    if err != nil {
       log.Fatal(err)
    }
    var data = bytes.NewReader(buf)
    req, err := http.NewRequest("POST", "https://api.interpreter.caiyunai.com/v1/dict", data)
    if err != nil {
       log.Fatal(err)
    }
    req.Header.Set("Connection", "keep-alive")
    req.Header.Set("DNT", "1")
    req.Header.Set("os-version", "")
    req.Header.Set("sec-ch-ua-mobile", "?0")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36")
    req.Header.Set("app-name", "xy")
    req.Header.Set("Content-Type", "application/json;charset=UTF-8")
    req.Header.Set("Accept", "application/json, text/plain, */*")
    req.Header.Set("device-id", "")
    req.Header.Set("os-type", "web")
    req.Header.Set("X-Authorization", "token:qgemv4jr1y38jyq6vhvi")
    req.Header.Set("Origin", "https://fanyi.caiyunapp.com")
    req.Header.Set("Sec-Fetch-Site", "cross-site")
    req.Header.Set("Sec-Fetch-Mode", "cors")
    req.Header.Set("Sec-Fetch-Dest", "empty")
    req.Header.Set("Referer", "https://fanyi.caiyunapp.com/")
    req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
    req.Header.Set("Cookie", "_ym_uid=16456948721020430059; _ym_d=1645694872")
    resp, err := client.Do(req)
    if err != nil {
       log.Fatal(err)
    }
    defer resp.Body.Close()
    bodyText, err := ioutil.ReadAll(resp.Body)
    if err != nil {
       log.Fatal(err)
    }
    fmt.Printf("%s\n", bodyText)
}

接下来我们要做的是把这个response body来解析出来,在js/Python这些脚本语言里面,body是一个字典或者map结构可以直接从里面取值,但是golang是一个强类型语言,这种做法并不是最佳实践,更常用的方法是和request一样,写一个结构体,把返回的json反序列化到结构体里面,但是我们在浏览器里面可以看到这个API返回的结构非常复杂,如果要一一定义结构体字段,非常繁琐并且容易出错。

我们使用这个网站JSON转Golang Struct ,把json字符复制进去,这样我们就生成了对应的结构体。

type DictResponse struct {
	Rc   int `json:"rc"`
	Wiki struct {
		KnownInLaguages int `json:"known_in_laguages"`
		Description     struct {
			Source string      `json:"source"`
			Target interface{} `json:"target"`
		} `json:"description"`
		ID   string `json:"id"`
		Item struct {
			Source string `json:"source"`
			Target string `json:"target"`
		} `json:"item"`
		ImageURL  string `json:"image_url"`
		IsSubject string `json:"is_subject"`
		Sitelink  string `json:"sitelink"`
	} `json:"wiki"`
	Dictionary struct {
		Prons struct {
			EnUs string `json:"en-us"`
			En   string `json:"en"`
		} `json:"prons"`
		Explanations []string      `json:"explanations"`
		Synonym      []string      `json:"synonym"`
		Antonym      []string      `json:"antonym"`
		WqxExample   [][]string    `json:"wqx_example"`
		Entry        string        `json:"entry"`
		Type         string        `json:"type"`
		Related      []interface{} `json:"related"`
		Source       string        `json:"source"`
	} `json:"dictionary"`
}

接着我们对json数据进行反序列化

var dictResponse DictResponse
err = json.Unmarshal(bodyText, &dictResponse)
if err != nil {
    log.Fatal(err)
}

我们最后再完善一下我们的代码。我们把代码的主体改成一个query函数,查询的单词作为参数传递进来,然后我们写一个简单的mian函数,这个main函数首先判断一下命令和参数的个数,如果它不是两个,那么我们就打印出错误信息,退出程序,否则就获取到用户输入的单词,然后执行query函数。

最终成品:

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "os"
)

type DictRequest struct {
    TransType string `json:"trans_type"`
    Source    string `json:"source"`
    UserID    string `json:"user_id"`
}

type DictResponse struct {
    Rc   int `json:"rc"`
    Wiki struct {
       KnownInLaguages int `json:"known_in_laguages"`
       Description     struct {
          Source string      `json:"source"`
          Target interface{} `json:"target"`
       } `json:"description"`
       ID   string `json:"id"`
       Item struct {
          Source string `json:"source"`
          Target string `json:"target"`
       } `json:"item"`
       ImageURL  string `json:"image_url"`
       IsSubject string `json:"is_subject"`
       Sitelink  string `json:"sitelink"`
    } `json:"wiki"`
    Dictionary struct {
       Prons struct {
          EnUs string `json:"en-us"`
          En   string `json:"en"`
       } `json:"prons"`
       Explanations []string      `json:"explanations"`
       Synonym      []string      `json:"synonym"`
       Antonym      []string      `json:"antonym"`
       WqxExample   [][]string    `json:"wqx_example"`
       Entry        string        `json:"entry"`
       Type         string        `json:"type"`
       Related      []interface{} `json:"related"`
       Source       string        `json:"source"`
    } `json:"dictionary"`
}

func query(word string) {
    client := &http.Client{}
    request := DictRequest{TransType: "en2zh", Source: word}
    buf, err := json.Marshal(request)
    if err != nil {
       log.Fatal(err)
    }
    var data = bytes.NewReader(buf)
    req, err := http.NewRequest("POST", "https://api.interpreter.caiyunai.com/v1/dict", data)
    if err != nil {
       log.Fatal(err)
    }
    req.Header.Set("Connection", "keep-alive")
    req.Header.Set("DNT", "1")
    req.Header.Set("os-version", "")
    req.Header.Set("sec-ch-ua-mobile", "?0")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36")
    req.Header.Set("app-name", "xy")
    req.Header.Set("Content-Type", "application/json;charset=UTF-8")
    req.Header.Set("Accept", "application/json, text/plain, */*")
    req.Header.Set("device-id", "")
    req.Header.Set("os-type", "web")
    req.Header.Set("X-Authorization", "token:qgemv4jr1y38jyq6vhvi")
    req.Header.Set("Origin", "https://fanyi.caiyunapp.com")
    req.Header.Set("Sec-Fetch-Site", "cross-site")
    req.Header.Set("Sec-Fetch-Mode", "cors")
    req.Header.Set("Sec-Fetch-Dest", "empty")
    req.Header.Set("Referer", "https://fanyi.caiyunapp.com/")
    req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
    req.Header.Set("Cookie", "_ym_uid=16456948721020430059; _ym_d=1645694872")
    resp, err := client.Do(req)
    if err != nil {
       log.Fatal(err)
    }
    defer resp.Body.Close()
    bodyText, err := ioutil.ReadAll(resp.Body)
    if err != nil {
       log.Fatal(err)
    }
    if resp.StatusCode != 200 {
       log.Fatal("bad StatusCode:", resp.StatusCode, "body", string(bodyText))
    }
    var dictResponse DictResponse
    err = json.Unmarshal(bodyText, &dictResponse)
    if err != nil {
       log.Fatal(err)
    }
    fmt.Println(word, "UK:", dictResponse.Dictionary.Prons.En, "US:", dictResponse.Dictionary.Prons.EnUs)
    for _, item := range dictResponse.Dictionary.Explanations {
       fmt.Println(item)
    }
}

func main() {
    if len(os.Args) != 2 {
       fmt.Fprintf(os.Stderr, `usage: simpleDict WORD
example: simpleDict hello
       `)
       os.Exit(1)
    }
    word := os.Args[1]
    query(word)
}

是不是也比较简单呢?