这是我参与「第五届青训营 」伴学笔记创作活动的第 17 天

今天学习 GO 框架三件套（Gorm/Kitex/Hertz）~

Gorm 是一个已经选代了 10 年功能能强大的 ORM 框架，在字节内部被广泛使用并且拥有非常丰富的开源扩展。

Kitex是字节内部的 Golang 微服务 RPC 框架，具有高性能、强可扩展的主要特点，支持多协议并且拥有丰富的开源扩展。

Hertz 是字节内部的 HTTP 框架，参考了其他开源框架的优势，结合字节跳动内部的需求，具有高易用性、高性能、高扩展性特点

Gorm 的基础使用

Gorm 的约定(默认)

• Gorm 使用名为 ID 的字段 作为主键
• 使用结构体的 蛇形负数作为表名
• 字段名的蛇形作为列名
• 使用 CreatedAt、UpdatedAt 字段作为创建、更新时间

Gorm 支持的数据库

GORM 目前支持 MySQL、SQLServer、PostgreSQL、SQLite。

GORM 通过驱动来连接数据库，如果需要连接其它类型的数据库，可以复用/自行开发驱动。

如何使用 Upsert?

• 使用 clause.OnConflict 处理数据冲突。

如何使用默认值?

通过使用 default 标签为字段定义默认值。

First 的使用踩坑

• 使用 First 时，需要注意查询不到数据会返回 ErrRecordNotFound。

  • 使用 Find 查询多条数据，查询不到数据不会返回错误。

使用结构体作为查询条件

• 当使用结构作为条件查询时，GORM 只会查询非零值字段。这意味着如果您的字段值为 0、"、false 或其他零值，该字段不会被用于构建查询条件，使用 Map 来构建查询条件。

• 使用 Struct 更新时，只会更新非零值，如果需要更新零值可以使用 Map 更新或使用 Select 选择字段。

• GORM 提供了 gorm.DeletedAt 用于帮助用户实现软删；

  • 拥有软删除能力的 Model 调用 Delete 时，记录不会被从数据库中真正删除。但 GORM 会将 DeletedAt 置为当前时间，并且你不能再通过正常的查询方法找到该记录；

  • 使用 Unscoped 可以查询到被软删的数据；

• Gorm 提供了 Begin、Commit、Rollback 方法用于使用事务；

• Gorm 提供了 Tansaction 方法用于自动提交事务，避免用户漏写 Commit、Rollbcak；

• GORM 在提供了 CURD 的 Hook 能力；

• Hook 是在创建、查询、更新、删除等操作之前、之后自动调用的函数。

• 如果任何 Hook 返回错误，GORM 将停止后续的操作并回滚事务。

• 对于写操作（创建、更新、删除），为了确保数据的完整性，GORM 会将它们封装在事务内运行。

  • 但这会降低性能，可以使用 SkipDefaultTransaction 关闭默认事务。

• 使用 PrepareStmt 缓存预编译语句可以提高后续调用的速度。

Kitex 的基础使用

这一部分代码略过~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Hertz 的基础使用

• Hertz 提供了 GET、POST、PUT、DELETE、ANY 等方法用于注册路由。

• Hertz 提供了路由组（Group）的能力，用于支持路由分组的功能。

• Hertz 提供了参数路由和通配路由，路由的优先级为: 静态路由 >命名路由 >通配路由

• Hertz 提供了 Bind、Validate、BindAndValidate 函数用于进行参数绑定和校验。

• Hertz 的中间件主要分为客户端中间件和服务端中间件。

• Hertz 提供了 HTTP Client 用于帮助用户发送 HTTP 请求。

• Hertz 提供了代码生成工具 Hz，通过定义 IDL(inteface description language)文件即可生成对应的基础服务代码。

Hertz 性能

1. 网络库 Netpoll；
2. Json 编解码 Sonic；
3. 使用 sync.Pool 复用对象协议层数据解析优化。

---

黑灰产监控与防御

接下来学习一个名字听起来很酷的知识——黑灰产监控与防御。

首先让我们认识一下什么是——**黑产 **

比如：

• 诈骗
• 薅羊毛
• 黄牛
• 博彩
• 引流
• 跑分
• 木马
• 钓鱼
• 病毒
• 拖库
• 盗号
• 勒索软件

国内黑产简介

黑产规模

• 中国“网络黑产"从业人员已超过 150 万，市场规模已经达到千亿级别——中国法院网 2017年；
• 截止 2022 年 12 月，haveibeenpwned 已收录了约 120 亿条账密数据；
• 某互联网风控公司统计，2018 年各类黑产攻击（业务层）总数超过 300 亿次；
• 据不完全统计，2019 年全网约有 5000 万左右的非实名手机卡被频繁用于各种欺诈活动；
• 据不完全统计，仅中国境内每天约有 350-400 万个代理 IP 被用于各类欺诈活动。
• ……

黑产团伙的发展趋势

• 规模化

  • 借助脚本、软件来实现攻击的批量化；
  • 上游各类资源丰富，大大降低攻击成本，同时攻击成功率也比较高。

• 组织化

  • 多数以工作室的形式运作；
  • 团伙内多人分工明确，合作紧密；
  • 某些黑产甚至成立了公司。

• 平台化

  • 近年来出现了很多平台级的爬虫、群控、钓鱼、木马，网络攻击、DDoS 攻击工具，攻击成本大大降低，且难以追查；
  • 各类平台将黑产手中零散的资源进行整合对黑产。

安全防护体系的建设

事前

• 情报监控
  • 暗网
  • 贴吧
  • TG
  • 破解论坛
• SDLC
• 漏洞扫描

事中

• 渗透测试
• 威胁感知
  • 用户行为异常
  • 接口数据异常
  • 恶意流量检测
• 风控/安全策略

事后

• 威胁建模
• 攻击溯源

验证码、安全SDK、代理检测、人脸识别、黑产名单

WAF、IDS、DLP、终端安全防护、行为审计