Go 框架三件套详解(Web/RPC/ORM) ｜ 青训营笔记

用户4955575447946
114 阅读6分钟
  • 这是我参与「第五届青训营 」伴学笔记创作活动的第 5 天

1. 内容

  • Gorm

    • Gorm是一个已经迭代10年的功能强大的ORM框架，在字节内部被广泛使用并且拥有非常丰富的开源扩展

  • Kitex

    • Kitex是字节内部的Golang微服务RPC框架，具有高性能、强可扩展的主要特点，支持多协议并且拥有丰富的开源扩展

  • Hertz

    • Hertz是字节内部的HTTP框架，参考了其他开源框架的优势，结合字节跳动内部的需求，拥有高易用性、高性能、高扩展的特点

2. 知识点

2.1 Gorm的基本使用

  • 定义gorm model

    type Product struct {
    Code string
    Price uint
}

  • 为model定义表名

    func (p Product) TableName() string {
    return "product"
}

  • 连接数据库

    db, err := gorm.Open(
    mysql.Open("user:pass@tcp(127.0.0.1:3306)/dbname?charset=utf8mb4&parseTime=True&loc=Local"),
    &gorm.Config{})

  • Gorm的约定（默认）

  • Gorm使用名为ID的字段作为主键

  • 使用结构体的蛇形负数作为表名

  • 字段名的蛇形作为列名

  • 使用CreateAt，UpdatedAt字段作为创建、更新时间

  1. Gorm支持的数据库

    Gorm目前支持MySQL、SQLServer、PostgreSQL、SQLite。

    Gorm通过驱动来连接数据库，如果需要连接其他类型的数据库，可以复用/自行开发驱动。

    dsn := "sqlserver://gorm:LoremIpsum86@localhost:9930?database=gorm"
db, err := gorm.Open(sqlserver.Opne(dsn), &gorm.Config{})

  2. Gorm创建数据

    user := User{Name: "Jinzhu", Age: 18, Birthday: time.Now()}
result := db.Create(&user) // 通过数据的指针来创建
user.ID             // 返回插入数据的主键
result.Error        // 返回 error
result.RowsAffected // 返回插入记录的条数
​
// 用选定字段的来创建
db.Select("Name", "Age", "CreatedAt").Create(&user)
// 创建时排除选定字段
db.Omit("Name", "Age", "CreatedAt").Create(&user)

    • 如何使用Upsert

      使用clause.OnConflict处理数据冲突

      // 以不处理冲突为例，创建一条数据
p := &Product{Code: "D42", ID: 1}
db.Clauses(clause.OnConflict{DoNothing: true}).Create(&p)

    • 如何使用默认值

      通过使用default标签为字段定义默认值

      type User struct {
    ID   int64
    Name string 'gorm:"default:galeone"'
    Age int64 'gorm:"default:18"'
}

  3. Gorm查询数据

    // 获取第一条记录（主键升序）
u := &User{}
db.First(u) // SELECT * FROM users ORDER BY id LIMIT 1;
// 查询多条数据
users := make([]*User, 0)
result := db.Where("age > 10").Find(&users) // SELECT * FROM users where age > 10;
​
db.Where(&User{Name: "jinzhu", Age: 0}).Find(&users)
// SELECT * FROM users WHERE name = "jinzhu";
db.Where(map[string]interface{}{"Name": "jinzhu", "Age": 0}).Find(&users)
// SELECT * FROM users WHERE name = "jinzhu" AND age = 0;

    • First的使用踩坑

      使用First时，需要注意查询不到数据会返回ErrRecordNotFound。使用Find查询多条数据，查询不到不会返回错误。

    • 使用结构体作为查询条件

      当使用结构体作为条件查询时，Gorm只会查询非零值字段。这意味着如果字段为0、''、false或其他零值，该字段不会用于构建查询条件，使用Map来构建查询条件。

  4. Gorm更新数据

    db.Model(&User{}).Where("active = ?", true).Update("name", "hello")
// UPDATE users SET name='hello' WHERE active=true;

    使用Struct更新时，只会更新非零值，如果需要更新零值可以使用Map更新或使用Selecct选择字段

  5. Gorm删除数据

    • 物理删除

      // 带额外条件的删除
db.Where("name = ?", "jinzhu").Delete(&email)
// DELETE from emails where id = 10 AND name = "jinzhu";

    • 软删除

      type User struct {
    ID   int64
    Name string 'gorm:"default:galeone"'
    Age int64 'gorm:"default:18"'
    Deleted gorm.DeletedAt
}

      Gorm提供了gorm.DeletedAt用于帮助用户实现软删除。

      拥有软删除能力的Model调用Delete时，记录不会被从数据库真正删除，但Gorm会将DeletedAt置为当前时间，并且将不能再通过正常的查询方法找到该记录。

      使用Unscoped可以查询到被软删除的数据。

  6. Gorm事务

    Gorm提供了Begin、Commit、Rollback方法用于事务。

    tx := db.Begin()
tx.Rollback()
tx.Commit()

    Gorm提供了Transaction方法用于自动提交事务，避免用户漏写。

    if err = db.Transaction(func(tx *gorm.DB) error {
    if err = tx.Create(&User{Name: "name"}).Error; err != nil {
        return err
    }
    return nil
}); err != nil {
    return
}

  7. Gorm Hook

    Gorm提供了CURD的Hook能力。

    Hook实在创建、查询、更新、删除等操作之前、之后自动调用的函数。

    如果任何Hook返回错误，Gorm将停止后续的操作并回滚事务。

    func (u *User) BeforeCreate(tx *gorm.DB) (err error) {
    if u.Age < 0 {
        return errors.New("can't save invalid data")
    }
    return
}

  8. Gorm性能提高

    对于写操作（创建、更新、删除），为了确保数据的完整性，Gorm会将它们封装在事务内运行，但这会降低性能。

    可以使用SkipDefaultTransaction关闭默认事务。

    使用PrepareStmt缓存预编译语句可以提高后续调用的速度。

    db, err := gorm.Open(
    mysql.Open("user:pass@tcp(127.0.0.1:3306)/dbname?charset=utf8mb4&parseTime=True&loc=Local"),
    &gorm.Config{
        SkipDefaultTransaction: true, // 关闭默认事务
        PrepareStmt:            true},// 缓存预编译语句
)

  9. Gorm生态

    GORM代码生成工具github.com/go-gorm/gen
    GORM分片库方案github.com/go-gorm/sha…
    GORM手动索引github.com/go-gorm/hin…
    GORM乐观锁github.com/go-gorm/opt…
    GORM读写分离github.com/go-gorm/dbr…
    GORM OpenTelemetry 扩展github.com/go-gorm/ope…
2.2 Kitex的基本使用

  1. 定义IDL

    namespace go api
​
struct Request {
    1 : string message
}
​
struct Response {
    1 : string message
}
​
service Echo {
    Response echo(1: Request req)
}

    • 使用IDL定义服务与接口

      要进行RPC，就需要知道对方的接口是什么，需要传什么参数，同时也需要知道返回值是什么样的。这时候，就需要通过IDL来约定双方的协议，就像在写代码的时候需要调用某个函数，我们需要知道函数签名一样。

  2. Kitex生成代码

    • 使用kitex -module example -service example echo.thrift命令生成代码
    • build.sh：构建脚本
    • kitex_gen：IDL内容相关的生成代码，主要是基础的Server/Client代码
    • main.go：程序入口
    • handler.go：用户在该文件里实现IDL service定义的方法

  3. Kitex基本使用

    服务默认监听8888端口

    type EchoImpl struct {}
​
func (s *EchoImpl) Echo(ctx context.Context, req *api.Request) (resp *api.Response, err error) {
    // TODO
    return
}

  4. Kitex Client 发起请求

    • 创建Client

      c, err := echo.NewClient("example", client.WithHostPorts("0.0.0.0:8888"))

    • 发起请求

      req := &api.Request{Message: "my request"}
resp, err := c.Echo(context.Background(), req, callopt.WithRPCTimeout(3*time.Second))

  5. Kitex服务注册与发现

    目前Kitex的服务注册与发现已经对接了主流的服务注册与发现中心，如ETCD，Nacos等。

  6. Kitex生态

    XDS扩展github.com/kitex-contr…
    opentelemetry扩展github.com/kitex-contr…
    ETCD服务注册与发现扩展github.com/kitex-contr…
    Nacos服务注册与发现扩展github.com/kitex-contr…
    Zookeeper服务注册与发现扩展github.com/kitex-contr…
    polaris扩展github.com/kitex-contr…
    丰富的实例代码与业务Demogithub.com/cloudwego/k…
Hertz基本使用
  • 使用Hertz实现，服务监听8080端口并注册了一个Get方法的路由函数
func main() {
    h := server.Default()
​
    h.GET("/ping", func(c context.Context, ctx *app.RequestContext) {
            ctx.JSON(consts.StatusOK, utils.H{"message": "pong"})
    })
​
    h.Spin()
}

  1. Hertz路由

    • Hertz提供了GET、POST、PUT、DELETE、ANY等方法用于注册路由

    • Hertz提供了路由组（Group）的能力，用于支持路由分组功能

      func main() {
    h := server.Default(server.WithHostPorts("127.0.0.1:8080"))
    // use middleware
    v1 := h.Group("/v1", basic_auth.BasicAuth(map[string]string{"test": "test"}))
​
    v1.GET("/ping", func(c context.Context, ctx *app.RequestContext) {
        ctx.String(consts.StatusOK,"ping")
    })
    h.Spin()
}

    • Hertz提供了参数路由和统配路由，路由的优先级为：静态路由>命名路由>统配路由

  2. Hertz参数绑定

    • Hertz提供了Bind、validate、BindAndValidate函数用于进行参数绑定和校验

  3. Hertz中间件

    • Hertz中间件主要分为客户端中间件与服务端中间件

    如何终止中间件调用链的执行

    c.Abort

    c.AbortWithMsg

    c.AbortWithStats

  4. Hertz Client

    • Hertz提供了HTTP Client 用于帮助用户发送HTTP请求

  5. Hertz代码生成工具

    • Hertz提供了代码生成工具Hz，通过定义IDL（interface description language）文件即可生成对应的基础服务代码
    namespace go hello.example
​
struct HelloReq {
    1: string Name (api.query="name");
}
​
struct HelloResp {
    1: string RespBody;
}
​
​
service HelloService {
    HelloResp HelloMethod(1: HelloReq request) (api.get="/hello");
}

  6. Hertz性能

    1. 网络库Netpoll
    2. Json编解码 Sonic
    3. 使用sync.Pool复用对象协议层数据解析优化

  7. Hertz生态

    HTTP2扩展github.com/hertz-contr…
    opentelemetry扩展github.com/hertz-contr…
    国际化扩展github.com/hertz-contr…
    反向代理扩展github.com/hertz-contr…
    JWT鉴权扩展github.com/hertz-contr…
    Websocket扩展github.com/hertz-contr…
    丰富的实例代码与业务Demogithub.com/cloudwego/h…
avatar
文章
阅读
粉丝