将我的服务开发给用户 | 青训营笔记

zia
163 阅读3分钟

这是我参与「第三届青训营 - 后端场」笔记创作活动的的第5篇笔记

1 接入问题引入

浏览器输入网站域名到网页加载出来，都经历了哪些过程？

  1. 对URL进行解析，从而生成发送给Web 服务器的请求信息。
  2. 通过DNS域名解析查找到对应的IP地址
  3. 建立TCP连接（三次握手）
  4. SSL/TLS握手
  5. 客户端发送HTTP请求
  6. 服务器处理请求并响应
  7. 浏览器解析渲染页面

1.1 问题引入

抓包可以通过wireshark观察经历的过程，主要分为DNS解析，TCP建立连接，TLS握手和HTTP请求的发送

2 企业接入

2.1 使用域名系统

2.1.1 Host管理

example公司建立之初，运维人员使用主机表来管理Host和ip的映射

随着example公司业务规模和员工数量的增长，使用该方式面临诸多问题

  • 流量和负载：用户规模指数级增长，文件大小越来越大，统一分发引起较大的网络流量和CPU负载
  • 名称冲突：无法保证主机名称的唯一性，同名主机添加导致服务故障
  • 时效性：分发靠人工上传，时效性太差

2.1.2 使用域名系统

image.png

  • 关于域名空间:
    • 域名空间被组织成树形结构
    • 域名空间通过划分zone的方式进行分层授权管理
    • 全球公共域名空间仅对应一棵树
    • 根域名服务器：查询起点
    • 域名组成格式：[a-zA-Z0-9_-],以点划分label

顶级域gTLD：general Top-level Domains：gov政府 .edu教育 .com商业 .mil军事 .org非盈利组织

域名报文格式

image.png

2.1.3 域名购买与配置迁移

购买二级域名

image.png

域名备案：防止在网上从事非法的网站经营活动，打击不良互联网信息的传播，一般在云厂商处即可进行实名认证并备案

修改配置：

  • 清空/etc/hosts
  • 配置/etc/resolv.conf中nameservers为公共DNS
  • 迁移原配置，通过控制台添加解析记录即可

2.1.4 如何开放用户访问

如何建设外部网站,提升公司外部影响力?

方案：租赁一个外网ip,专用于外部用户访问门户网站,将www.example.com解析到外网ip100.1.2.3，将该ip绑定到一台物理机上，并发布公网route,用于外部用户访问。

2.2 自建DNS服务器

2.2.1 问题背景

1、内部域名解析也得去公网获取，效率低下

2、外部用户可以看到内网ip，容易被hacker攻击

3、云厂商DNS容易出故障，影响用户体验

4、持续扩大公司品牌技术影响力，使用自己的DNS系统

2.2.2 DNS查询过程

image.png

操作系统命令模拟域名解析过程

dig{$domain} +trace

2.2.3 DNS记录类型

  • A/AAAA：IP指向记录，用于指向IP，前者为IPv4记录，后者为IPv6记录
  • CNAME：别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址
  • TXT：文本记录，购买证书时需要
  • MX：邮件交换记录，用于指向邮件交换服务器
  • NS：解析服务器记录，用于指定哪台服务器对于该域名解析
  • SOA记录：起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是描述zone属性以及主要权威服务器的记录

image.png

2.2.4 权威DNS系统架构

站在企业角度思考，我们需要的是哪种DNS服务器

答案：权威DNS，LocalDNS（可选）

常见的开源DNS：bind、nsd、knot、coredns

  • DNS Query
  • DNS Response
  • DNS Update
  • DNS Notify
  • DNS XFR

image.png

解析域名时首先或获取www.example.com解析地址，然后向Local DNS发出请求，Local DNS会向公司自建的DNS服务器发出请求，获取IP地址，用户根据IP地址获取到HTTP的请求结果

2.3 接入HTTPS协议

2.3.1 问题背景

  1. 页面出现白页，出现某些奇怪的东西
  2. 返回了403的页面
  3. 搜索不了的东西
  4. 搜索问题带了小尾巴，页面总要闪几次
  5. 页面弹窗广告

2.3.2 对称加密和非对称加密

常见的加密算法

  • 对称加密：一份密钥

  • 非对称加密：公钥和密钥

image.png

image.png

2.3.3 SSL的通信过程

  1. client端给server端发了client hello消息，消息包含客户端的TLS版本，密码组合，client random随机字符串
  2. server端接收到消息后，发出server hello消息，包括数字证书，密码组合和server random随机字符串
  3. 客户端会对服务器发来的证书公钥验证，保证对方的合法身份
  4. 客户端会生成预主密钥(Premaster Key)，经过公钥进行加密，服务端利用私钥进行解密
  5. 客户端和服务端都拥有了client random随机字符串、server random随机字符串、预主密钥，通过协商好的加密算法加密获取到对称加密密钥session Key
  6. 双方使用session key进行加密传输

2.3.4 证书链

Server端发送是代签名的证书链

Client收到仍然需要验签

  • 是否是可信机构颁布
  • 域名是否与实际访问一致
  • 检查数字签名是否一致
  • 检查证书的有效期
  • 检查证书的撤回状态

2.3.5 使用https

使用https保证了信息传输的安全性和可靠性

2.4 接入全站加速

2.4.1 外网用户访问站点，一定是一帆风顺的吗？可能出现的问题有哪些？

  • 源站容量低，可承载的并发请求数低，容易被打垮
  • 报文经过的网站设备较多，出问题的概率越大，丢包、劫持、mtu问题
  • 自主选路网络链路长，时延高
  • 极大的流失了大部分的用户群体，NPS留存率数据不乐观。

2.4.2 解决方案

  • 源站容量问题：增加后端机器扩容；静态扩容，使用静态加速缓存
  • 网络传输问题：动态加速CDN
  • 全站加速：静态加速 + 动态加速

2.4.3 静态加速CDN

静态文件传输网络优化方式可以通过缓存

使用CDN加速解决了哪些问题？

  • 解决服务器的“第一公里”问题
  • 缓解甚至消除了不同运营商之间互联网的瓶颈造成的影响
  • 减轻了各省的出口带宽压力
  • 优化了网上热点内容的分布

2.4.5 DCDN原理

针对POST等非静态请求等不能在用户边缘缓存的业务，基于智能选路技术，从众多回源线路中择优选择一条线路进行传输

RTT示例：

  • 用户到核心：35ms
  • 用户到边缘：20ms
  • 边缘到汇聚：10ms
  • 汇聚到核心：10ms

常规请求耗时计算：

Via DCDN：100ms

20(TCP) + 20*2(TLS) + 20 + 10 +10(routine)

Direct：140ms

35(TCP) + 35*2 (TLS) +35(routine)

2.4.6 使用全站加速

2.5 四层负载均衡

2.5.1 问题背景

在运营商处租用的100.1.2.3的公网IP，如何在企业内部使用最合理？

现状：直接找一个物理机，ifconfig将网卡配上这个IP，起server监听即可

应用多，起多个server监听不同的端口即可

租多个公网ip(数量有限)

2.5.2 什么是四层负载均衡

基于IP + 端口,利用某种算法将报文转发给某个后端服务器，实现负载均衡地落到后端服务器上。

三个主要功能：

  1. 解耦 vip 和 rs
  2. NAT
  3. 防攻击：syn proxy

2.5.3 常见的调度算法原理

  • RR轮询：Round Robin，将所有的请求平均分配给每个真实服务器RS

  • 加权RR轮询：给每个后端服务器一个权值比例，将请求按照比例分配

  • 最小连接：把新的连接请求分配到当前连接数最小的服务器

  • 五元组hash：根据sip、sport、proto、dip、dport对静态分配的服务器做散列取模

    缺点：当后端某个服务器故障后，所有连接都重新计算，影响整个hash环

  • 一致性hash：只影响故障服务器上的连接session，其余服务器上的连接不受影响

2.5.4 常见的实现方式FULLNAT

image.png

RS怎么知道真实的CIP?

通过TCP option字段传递，然后通过特殊的内核模块反解

2.5.5 4层负载均衡特点

  • 大部分都是通过dpdk技术实现，技术成熟，大厂都在用
  • 纯用户态协议栈，kernel bypass，消除协议栈瓶颈
  • 无缓存，零拷贝，大页内存（减少cache miss）
  • 仅针对4层数据包转发，小包转发可达到限速，可承受cps

2.5.6 使用4层负载均衡

2.6 七层负载均衡

2.6.1 问题背景

提问：四层负载均衡对100.1.2.3只能bind一个80端口，而有多个外部站点需要使用，该如何解决？

业务侧是http服务，用户需要用https访问

请求重定向：浏览器访问toutiao.com自动跳转www.toutiao.com

路由添加匹配策略：完全、前缀、正则

Header编辑

跨域支持

协议支持：websocket、grpc、quic

2.6.2 Nginx简介

最灵活的高性能WEB SERVER，应用最广的七层反向代理

Nginx的优点

  • 模块化设计，较好的扩展性和可靠性
  • 基于master/worker架构设计
  • 支持热部署；可在线升级
  • 不停机更新配置文件、更换日志文件、更新服务器二进制
  • 较低的内存消耗：1万个keep-alive连接模式下的非活动连接仅消耗2.5M内存
  • 事件驱动：异步非阻塞模型、支持aio，mmap(内存映射)

2.6.3 Nginx和Apache性能对比

image.png

2.6.4 Nginx反向代理

代理服务器功能：

  • keepalive
  • 访问日志
  • url rewrite重写
  • 路径别名
  • 基于ip的用户的访问控制
  • 限速及并发连接数控制

2.6.5 Nginx内部架构

image.png

2.6.6 事件驱动模型

image.png

2.6.7 异步非阻塞

image.png

传统服务器：一个进程/线程处理一个连接/请求阻塞模型、依赖os实现并发

Nginx：一个进程/线程处理多个连接/请求异步非阻塞模型，减少OS进程切换

2.6.8 Nginx简单优化

image.png

优化内核网络的参数

fs.filemax = 999999
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.ip_local_port_range = 1024 61000
net.ipv4.tcp_max_syn.backlog = 1024
net.ipv4.tcp_syncookies = 1

2.6.8 提升CPU使用效率

  • 合适的worker进程数（worker进程数 = CPU核数）
  • CPU亲和（每个worker进程绑定一个CPU核。提升缓存命中率）
  • 减少CPU开销
  • multi_accept允许worker同时接受新连接
  • accept_mutex解决惊群问题
  • reuseport监听同端口，内核负载均衡

2.6.9 提升网络效率

  • 连接复用，减少upstream建连
  • 使用cache，超过时间对业务的影响
  • gzip压缩，会增加cpu压缩，需平衡使用
  • 开启proxy_buffering，谨慎设置proxy_buffer大小，磁盘io读写

2.6.10 使用7层负载均衡

3 动手实践

3.1 DNS服务器搭建

3.2 四层负载均衡实验

开源的解决方案：LVS + keepalived

LVS：linux virtual server，linux虚拟服务器，根据目标地址和目标端口实现用户请求转发，本身不产生流量，只做用户请求转发

Keepalived：LVS高集群可用，解决某个节点故障问题

3.2 四层负载均衡实验

Nginx stream模块：可进行四层协议tcp/udp报文进行转发、代理

stream块示例

stream {
	upstream backend {
		hash $remote_addr consistent;
		server backend1.example.com:12345 weight=5;
		server 127.0.0.1:12345 max_fails=3 fail_timeout=30s;
		server unix:/tmp/backend3;
	}
	upstream dns {
		server 192.168.0.1:53535;
        server dns.example.com:53;
	}
}

server 块示例

server {
	listen 1234;
	proxy_connect_timeout 1s;
	proxy_timeout 3s;
	proxy_pass backend;
}

server {
	listen 127.0.0.1:53 udp reuseport;
	proxy_timeout 20s;
	proxy_pass dns;
}

server {
	listen [::1]: 5678;
	proxy_pass unix:/tmp/stream.socket;
}

3.3 七层负载均衡实验

3.4 SSL自签证书实验

3.5 如何将本地服务开放外网访问

服务开发前期，如何低成本的让别人访问自己的服务？

Ngrok，Expose your localhost to the web

使用条件：使用github账户授权登录，即可使用

./ngrok http example.com:8082
avatar
文章
阅读
粉丝