第一篇：用golang对数据库标准操作进行封装（mysql）

背景

用golang对数据库标准操作进行封装，为后面的rest server提供数据库访问层。实现的目标是：能根据rest请求参数自动生成数据库操作语句，提供增、删、改、查、批量写入、事务等必要的数据库操作封装。并可以方便的扩展到多种数据库，让所有的数据库操作对于rest server来说表现为一致的访问接口。

一些关键点

接口设计做到恰到好处，够用且不繁杂。
函数参数的设计，go不支持函数重载，如何善用interface{}。
用map[string]interface{}来处理rest的json请求参数，并自动生成相应的sql。
数据库查询结果能方便的转化为json，让rest server返回给用户。

代码解析

按功能模块对核心代码进行说明

IBock.go

数据库标准操作接口定义，根据我的实践经验，以下的接口设计已经能够很好的支持大部分的数据库操作，这些操作包括了根据json参数自动完成的CURD、手写sql支持、批量插入（更新）心及事务操作。

type IBock interface{
    //根据参数，自动完成数据库查询
    Retrieve(params map[string]interface{}, args ...interface{}) map[string]interface{}
    //根据参数，自动完成数据库插入
    Create(params map[string]interface{}, args ...interface{}) map[string]interface{}
    //根据参数，自动完成数据库更新（只支持单条）
    Update(params map[string]interface{}, args ...interface{}) map[string]interface{}
    //根据参数，自动完成数据库删除（只支持单条）
    Delete(params map[string]interface{}, args ...interface{}) map[string]interface{}
    //手写查询sql支持
    QuerySql(sql string, values []interface{}, params map[string]interface{}) map[string]interface{}
    //手写非查询sql支持
    ExecSql(sql string, values []interface{}) map[string]interface{}
    //批量插入或更新
    InsertBatch(tablename string, els []interface{}) map[string]interface{}
    //事务支持
    TransGo(objs map[string]interface{}) map[string]interface{}
}

参数说明

params, 对应rest server接收到用户数据，由json对象转换而来。
args，这个参数的目标是接收id(信息ID),fields(表字段数组),session(用户session)这三个参数，这样做的初衷是既要统一接口函数形式，又可以在编码时少传入作为点位符的nil
values，为sql查询参数化提供的参数列表
els，批量插入的每一行数据对象集
objs，事务对象集
返回参数为go的映射，很容易转化为json。

Bock.go

接口的具体实现，本文是对mysql的实现，暂只实现了基本的CURD，项目中会逐步完善。

//我们把操作对象定义在一个表上
type Bock struct {
    Table string
}
//parseArgs函数的功能是解析args参数中包括的可变参数，实现在下面
func (b *Bock) Retrieve(params map[string]interface{}, args ...interface{}) map[string]interface{} {
    //查询时我们一般只关注查询哪些表字段
    _, fields, _ := parseArgs(args)
    //调用具体的查询接口，查询接口将根据输入参数params自动实现sql查询语句，支持多样的查询定义，如：lks(从多个字体查询相同内容),ors（或查询）,ins（in查询）等
    return Query(b.Table, params, fields)
}

func (b *Bock) Create(params map[string]interface{}, args ...interface{}) map[string]interface{} {
    //新建接口，一般都会关注用户在session的ID
    _, _, session := parseArgs(args)
    uId := session["userid"].(string)
    params["u_id"] = uId
    //调用具体的插入接口
    return Insert(b.Table, params)
}

func (b *Bock) Update(params map[string]interface{}, args ...interface{}) map[string]interface{} {
    //只支持单个更新，所以ID必须存在
    id, _, _ := parseArgs(args)
    if len(id) == 0 {
        rs := make(map[string]interface{})
        rs["code"] = 301
        rs["err"] = "Id must be input."
        return rs
    }
    return Update(b.Table, params)
}

func (b *Bock) Delete(params map[string]interface{}, args ...interface{}) map[string]interface{} {
    //只支持单个删除，所以ID必须存在
    id, _, _ := parseArgs(args)
    if len(id) == 0 {
        rs := make(map[string]interface{})
        rs["code"] = 301
        rs["err"] = "Id must be input."
        return rs
    }
    return Delete(b.Table, params)
}

parseArgs函数的实现

func parseArgs(args []interface{}) (string, []string, map[string]interface{}) {
    //解析指定的参数
    var id string                                //信息ID
    var fields []string                          //查询字段集
    var session map[string]interface{}           //用户session对象
    for _, vs := range args {
        switch vs.(type) {
        case map[string]interface{}:            //只接收指定类型
            for k, v := range vs.(map[string]interface{}) {
                if k == "id" {
                    id = v.(string)
                }
                if k == "fields" {
                    fields = v.([]string)
                }
                if k == "session" {
                    session = v.(map[string]interface{})
                }
            }
        default:
        }
    }
    return id, fields, session    //返回解析成功的参数
}

Helper.go

数据操作的具体实现，大多是伪代码，项目后续会逐步完善，查询接口最重要，后面会有单独文章进行解析

func Query(tablename string, params map[string]interface{}, fields []string ) map[string]interface{} {
    //调用具体实现的私用函数，接口中分自动和手动两个函数，在私用函数中屏蔽差异内聚功能
    return query(tablename, params, fields, "", nil)
}

func Insert(tablename string, params map[string]interface{}) map[string]interface{} {
    sql := "Insert into " + tablename
    values := make([]interface{},0)
    return execute(sql, values)
}

func Update(tablename string, params map[string]interface{}) map[string]interface{} {
    sql := "Update " + tablename + " set "
    values := make([]interface{},0)
    return execute(sql, values)
}

func Delete(tablename string, params map[string]interface{}) map[string]interface{} {
    sql := "Delete from " + tablename + " where"
    values := make([]interface{},0)
    return execute(sql, values)
}

私用查询函数定义

//五个输入参数，分别适配自动与手动查询
func query(tablename string, params map[string]interface{}, fields []string, sql string, vaules []interface{}) map[string]interface{} {
    if vaules == nil {
        vaules = make([]interface{},0)
    }
    //调用真正的数据库操作函数
    return execQeury("select "+ strings.Join(fields, ",")+" from " + tablename, vaules)
}

非查询类具体操作函数

//因为golang把有结果集的和无结果集的操作是分开的，不象在java或node.js中，可以有高级函数进行统一操作，只能分开。
func execute(sql string, values []interface{}) map[string]interface{}  {
    //返回json对象，以map形式表达
    rs := make(map[string]interface{})
    rs["code"] = 200
    return rs
}

查询类具体操作(已经实现)，结果集以json对象封装，存储在map中

func execQeury(sql string, values []interface{}) map[string]interface{}  {
    var configs interface{}
    ...//省略数据配置获取代码，请参照以前的文章
    dao, err := mysql.Open(dialect, dbUser + ":"+dbPass+"@tcp("+dbHost+":"+dbPort+")/"+dbName+"?charset="+dbCharset)
    stmt, err := dao.Prepare(sql)
    rows, err := stmt.Query(values...)

    columns, err := rows.Columns()       //取出字段名称
    vs := make([]mysql.RawBytes, len(columns))
    scans := make([]interface{}, len(columns))

    for i := range vs {                 //预设取值地址
        scans[i] = &vs[i]
    }

    var result []map[string]interface{}
    for rows.Next() {
        _ = rows.Scan(scans...)        //塡入一列值
        each := make(map[string]interface{})

        for i, col := range vs {
            if col != nil {
                each[columns[i]] = string(col)        //增值
            }else{
                each[columns[i]] = nil
            }
        }

        result = append(result, each)
    }
    rs["code"] = 200
    //data, _ := json.Marshal(result)            //这样就能转换为json
    rs["rows"] = result
    return rs
}

数据库的批量操作，在前面的文章中已经用golang实现，只是还未封装，有兴趣的朋友可以看我前面的文章。

bock.go(程序入口)

最终目标的入口将是一个网络服务，提供标准的restful服务，现在只是用来测试，再这说明一下愿景。

    table := Bock.Bock{                    //上体实例
        Table: "role",                     //对role表时行操作
    }
    var params map[string] interface{}     //模拟json参数
    args := make(map[string] interface{})  //其它参数
    db := make([]DB.IBock, 1)              //对接口编程
    db[0] = &table                         //接口指向实例对象，这里可以现时处理多个不同的实例
    fields := []string {"id", "name"}
    args["fields"] = fields
    rs, _ := db[0].Retrieve(params, args)  //在这可以循环处理多个不同的实例，我们最终的目标就是在这接受用户的http请求，由路由自动分发不同的请求，我们的数据库封装自动生成sql语句完成用户的基本需求。
    fmt.Println(rs)

项目地址

https://github.com/zhoutk/goTools

使用方法

git clone https://github.com/zhoutk/goTools
cd goTools
go get
go run bock.go

go buid bock.go
./bock

小结

经过多种方案的对比，发现go语言作为网络服务的吞吐率是最棒的，所以有了将以往在其它平台上的经验（node.js,java,python3），用go来实现，期望有惊喜，写代码我是认真的。