这是我参与「第五届青训营 」笔记创作活动的第1天
day1课程笔记
一、在线词典抓包
1. 先进入彩云小译网站，网站地址
观察翻译good时发送的网络包，打开浏览器控制台，可以观察到dict(post)请求下Headers、Payload、Preview分别如下图所示：
在headers中可以看到，翻译的请求是post请求
在payload中，可以看到请求后台的数据，该次请求翻译的单词为good，翻译的类型为en2zh（即英文翻译为中文）
在preview中，可以看到网站后台的响应返回数据。
2. 打开第二个网址网址链接curlconverter
将在彩云小译中翻译good单词的请求copy as url到这个curlconverter网址中，选择post请求，随后可以看到该网站生成了一段go语言请求代码，代码如下所示：
package main
import ( "fmt" "io/ioutil" "log" "net/http" "strings" )```
func main() {
client := &http.Client{}
var data = strings.NewReader(`{"trans_type":"en2zh","source":"good"}`) //将字符串转化为一个流
//step1:创建请求
req, err := http.NewRequest("POST", "https://api.interpreter.caiyunai.com/v1/dict", data)
if err != nil {
log.Fatal(err)
}
//step2:设置请求头
req.Header.Set("authority", "api.interpreter.caiyunai.com")
req.Header.Set("accept", "application/json, text/plain, */*")
req.Header.Set("accept-language", "zh-CN,zh;q=0.9,en;q=0.8")
req.Header.Set("app-name", "xy")
req.Header.Set("content-type", "application/json;charset=UTF-8")
req.Header.Set("device-id", "")
req.Header.Set("origin", "https://fanyi.caiyunapp.com")
req.Header.Set("os-type", "web")
req.Header.Set("os-version", "")
req.Header.Set("referer", "https://fanyi.caiyunapp.com/")
req.Header.Set("sec-ch-ua", `"Not?A_Brand";v="8", "Chromium";v="108", "Google Chrome";v="108"`)
req.Header.Set("sec-ch-ua-mobile", "?0")
req.Header.Set("sec-ch-ua-platform", `"Windows"`)
req.Header.Set("sec-fetch-dest", "empty")
req.Header.Set("sec-fetch-mode", "cors")
req.Header.Set("sec-fetch-site", "cross-site")
req.Header.Set("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36")
req.Header.Set("x-authorization", "token:qgemv4jr1y38jyq6vhvi")
//step3:发送请求
resp, err := client.Do(req)
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close() //defer手动关闭流（函数结束后从下往上触发）
//step4:读取响应
bodyText, err := ioutil.ReadAll(resp.Body)
if err != nil {
log.Fatal(err)
}
fmt.Printf("%s\n", bodyText)
}
将代码放入编辑器中，并运行可以看到返回数据如下图所示：
3、打开新的网址，解析response body，即将json转换为golang struct oktools转换地址
将返回的json数据粘贴进框中，可能会出现错误Bad control character in string literal in JSON at position 875，该错误的原因是json的格式有问题（个人认为是编辑器在粘贴的时候可能格式出现了细微的变化，因此打开一个新的网站，检查json格式是否正确，json格式检查网址
根据提示细微的修改一下json（主要还是换行的问题），直至valid json即可，截图如下图所示：
因此将合法的json数据重新放入oktools工具中，即可生成golang格式的struct，生成的struct如下所示：
type AutoGenerated struct {
Rc int `json:"rc"`
Wiki struct {
KnownInLaguages int `json:"known_in_laguages"`
Description struct {
Source string `json:"source"`
Target interface{} `json:"target"`
} `json:"description"`
ID string `json:"id"`
Item struct {
Source string `json:"source"`
Target string `json:"target"`
} `json:"item"`
ImageURL string `json:"image_url"`
IsSubject string `json:"is_subject"`
Sitelink string `json:"sitelink"`
} `json:"wiki"`
Dictionary struct {
Prons struct {
EnUs string `json:"en-us"`
En string `json:"en"`
} `json:"prons"`
Explanations []string `json:"explanations"`
Synonym []string `json:"synonym"`
Antonym []string `json:"antonym"`
WqxExample [][]string `json:"wqx_example "`
Entry string `json:"entry "`
Type string `json:"type "`
Related []interface{} `json:"related "`
Source string `json:"source "`
} `json:"dictionary"`
}
修改该结构体的名称为DictResponse并粘贴到编辑器中，将返回的json数组反序列化为golang结构体，代码如下所示：
var dictResponse DictResponse
err = json.Unmarshal(bodyText, &dictResponse) //注意引用符号，这样才能修改dictResponse这个结构体
if err != nil {
log.Fatal(err)
}
4、最后，修改完善代码
（1）、通过打印dictResponse可以看到后端返回的结构体数据，并可以选择需要的信息进行打印音标、解释、反义词等
完善代码：
首先，防御式编程，确保请求后的响应码是200的，代码如下：
if resp.StatusCode != 200 {
log.Fatal("bad StatusCode:", resp.StatusCode, "body", string(bodyText))
}
（2）、其次设置请求数据的结构体即source（翻译的词）和trans_type（翻译的语言），代码如下
// 构造结构请求体
type DictRequest struct {
TransType string `json:"trans_type"`
Source string `json:"source"`
}
（3）、传入要翻译的词，即传入参数，将原来的main函数改为func query(word string)，新的main函数，将参数传入query函数中，代码如下
func main() {
if len(os.Args) != 2 {
fmt.Fprintf(os.Stderr, `usage:simpleDict WORD example:simpleDict hello`)
os.Exit(1)
}
word := os.Args[1]
query(word)
}
(4)、完善打印要输出的信息，代码如下：
//fmt.Printf("%#v\n", dictResponse)
fmt.Println(word, "UK:", dictResponse.Dictionary.Prons.En, "US:", dictResponse.Dictionary.Prons.EnUs)
for _, item := range dictResponse.Dictionary.Explanations {
fmt.Println(item)
}
4、实验结果
可以看到运行后，控制台打印如下图所示，在运行时传入参数：
5、思考
还有值得完善的地方，比如翻译的type也可以进行传参（这个传参需要严格控制传入的参数），可以弄一个map字典，在运行时进行一个选择，根据选择中->英，英->中，中->日等等进行一个trans_type的传参。
二、socks5代理服务器
1、tcp echo server
代码如下所示：
package main
import (
"bufio"
"log"
"net"
)
func main() {
server, err := net.Listen("tcp", "127.0.0.1:1080") //侦听端口
if err != nil {
panic(err)
}
for {
client, err := server.Accept() //接收请求，成功则返回连接
if err != nil {
log.Printf("Accept failed %v", err)
continue
}
go process(client) //处理连接，go代表启动一个子线程去处理连接
}
}
func process(conn net.Conn) {
defer conn.Close() //函数退出会关闭该连接
reader := bufio.NewReader(conn) //基于连接创建只读的带缓冲的流
for {
b, err := reader.ReadByte() //每次读一个字节
if err != nil {
break
}
_, err = conn.Write([]byte{b}) //将字节写入
if err != nil {
break
}
}
}
通过nc命令与1080端口建立tcp连接，发送什么数据，自己编写的tcp echo server就会返回相应的数据。
2、auth认证阶段
添加auth认证函数，auth认证的包各字段如下所示：
VER（1字节）: 协议版本，socks5为0x05
NMETHODS（1字节）: 支持认证的方法数量
METHODS（1到255字节): 对应NMETHODS，NMETHODS的值为多少，METHODS就有多少个字节。RFC预定义了一些值的含义，内容如下:
X’00’ NO AUTHENTICATION REQUIRED
X’02’ USERNAME/PASSWORD
func auth(reader *bufio.Reader, conn net.Conn) (err error) {
//step1:读取第一个字节VER版本号
ver, err := reader.ReadByte()
if err != nil {
return fmt.Errorf("read ver failed:%w", err)
}
if ver != socks5Ver {
return fmt.Errorf("not supported ver:%v", ver)
}
//step:读取第二个字节，方法数量methodSize
methodSize, err := reader.ReadByte()
if err != nil {
return fmt.Errorf("read methodSize failed:%w", err)
}
//step3：方法切片数组，并读取存入
method := make([]byte, methodSize)
_, err = io.ReadFull(reader, method)
if err != nil {
return fmt.Errorf("read method failed:%w", err)
}
log.Println("ver", ver, "method", method)
_, err = conn.Write([]byte{socks5Ver, 0x00}) //协议版本号为5，第二个参数为0x00即不需要认证
if err != nil {
return fmt.Errorf("write failed:%w", err)
}
return nil
}
在main函数中调用该auth函数，此时认证过程还未完善，运行curl命令，可以看到连接失败，但go运行的地方可以看到有日志信息的打印打印出了ver和method，运行截图如下图所示：
3、connect函数（socks5请求阶段）
connect函数如下所示： 读取浏览器请求sockets的包格式如下所示： /* +----+-----+-------+------+----------+----------+ |VER | CMD | RSV | ATYP | DST.ADDR | DST.PORT | +----+-----+-------+------+----------+----------+ | 1 | 1 | X'00' | 1 | Variable | 2 | +----+-----+-------+------+----------+----------+ VER 版本号，socks5的值为0x05 CMD 0x01表示CONNECT请求 RSV 保留字段，值为0x00(忽略） ATYP 目标地址类型，DST.ADDR的数据对应这个字段的类型。 0x01表示IPv4地址，DST.ADDR为4个字节 0x03表示域名，DST.ADDR是一个可变长度的域名 DST.ADDR 一个可变长度的值 DST.PORT 目标端口，固定2个字节 */
代理服务器向网站发送的包如下所示： /*+----+-----+-------+------+----------+----------+ |VER | REP | RSV | ATYP | BND.ADDR | BND.PORT | +----+-----+-------+------+----------+----------+ | 1 | 1 | X'00' | 1 | Variable | 2 | +----+-----+-------+------+----------+----------+ VER socks版本，这里为0x05 REP Relay field,内容取值如下 X’00’ succeeded RSV 保留字段 ATYPE 地址类型 BND.ADDR 服务绑定的地址 BND.PORT 服务绑定的端口DST.PORT */
func connect(reader *bufio.Reader, conn net.Conn) (err error) {
buf := make([]byte, 4)
_, err = io.ReadFull(reader, buf)
if err != nil {
return fmt.Errorf("read header failed:%w", err)
}
ver, cmd, atyp := buf[0], buf[1], buf[3]
if ver != socks5Ver {
return fmt.Errorf("not supported vcr:%v", ver)
}
if cmd != cmdBind {
return fmt.Errorf("not supported cmd:%w", err)
}
addr := ""
switch atyp {
case atypIPV4:
_, err = io.ReadFull(reader, buf)
if err != nil {
return fmt.Errorf("read atypIpv4 failed:%W", err)
}
addr = fmt.Sprintf("%d.%d.%d.%d", buf[0], buf[1], buf[2], buf[3])
case atypHOST:
hostSize, err := reader.ReadByte()
if err != nil {
return fmt.Errorf("read hostSize failed%w", err)
}
host := make([]byte, hostSize)
_, err = io.ReadFull(reader, host)
if err != nil {
return fmt.Errorf("read host failed:%w", err)
}
addr = string(host)
case atypIPV6:
return errors.New("IPV6: no supported yet")
default:
return errors.New("Invalid atyp")
}
_, err = io.ReadFull(reader, buf[:2]) //复用缓冲区切片
if err != nil {
return fmt.Errorf("read port failed:%w", err)
}
port := binary.BigEndian.Uint16(buf[:2])
dest, err := net.Dial("tcp", fmt.Sprintf("%v:%v", addr, port)) //建立tcp连接
if err != nil {
return fmt.Errorf("dial dst failed:%w", err)
}
defer dest.Close()
log.Println("dial", addr, port)
_, err = conn.Write([]byte{0x05, 0x00, 0x00, 0x01, 0, 0, 0, 0, 0, 0})
if err != nil {
return fmt.Errorf("write failed: %w", err)
}
ctx, cancel := context.WithCancel(context.Background())
defer cancel()
go func() {
_, _ = io.Copy(dest, reader)
}()
go func() {
_, _ = io.Copy(conn, dest)
}()
<-ctx.Done() //等待cancel()执行后才会执行
return nil
}
并在main函数中调用connect函数。
注意，可能会出现代码跑出来显示ipv6不支持的情况，这种情况将网络适配器中的ipv6勾选取消即可
随后在命令行里运行通过socks5代理访问网站，可以看到实验结果如下图所示：
同时，运行的go代码控制台打印该网站的域名和端口号
4、chrome安switchYOmega插件
插件配置协议，和代理服务器的ip：端口号，截图如下图所示：
选择应用选项，并启动代理，此后访问网站时，可以看到go的控制台打印网站信息，截图如下图所示：
至此，该socks5代理服务器实战项目结束。
三、作业
1、修改第一个例子中猜谜游戏里面的最终代码，使用fmt.Scanf来简化代码实现
var guess int
fmt.Scanf("%d\n", &guess)
注意缓冲区中可能存在上一次输入流下的换行符，因此多加一个\n
TODOLIST：
