将我的服务开放给用户｜青训营笔记这是我参与「第三届青训营 -后端场」笔记创作活动的的第9篇笔记一、本堂课重点内容

这是我参与「第三届青训营 -后端场」笔记创作活动的的第9篇笔记

一、本堂课重点内容

1. 接入问题引入

2. 企业接入升级打怪

3. 动手实践

4. 复习总结

二、详细知识点介绍

2.1 问题引入：

经典问题：浏览器输入网站域名wwww.toutiao.com到网页加载出来，都经历了哪些过程？

1. 域名解析

2. TCP建立连接

3. TLS/SSL握手

4. HTTP请求

字节接入框架：

2.2 企业接入升级打怪

2.2.1 Host管理

Example 公司

主机表

Host->ip映射

随着example公司业务规模和员工数量的增长，使用该方式面临诸多问题：

流量和负载：用户规模指数级增长，文件大小越来越大，统一分发引起较大的网络流量和CPU负载

名称冲突：无法保证主机名称的唯一性，同名主机添加导致服务故障

时效性：分发靠人工上传，时效性太差

2.2.2 使用域名系统：使用域名系统替换hosts文件

关于域名空间：

域名空间被组织成树形结构

域名空间通过划分zone的方式进行分层授权管理

全球公共域名空间仅对应一棵树

根域名服务器：查询起点

域名组成格式：[a-zA-Z0-9]，以点划分label

顶级域gTLD：general Top-level Domains:gov政府.edu教育.com商业.mil军事.org非盈利组织

域名报文格式：

2.2.3 域名购买与配置迁移

域名购买：

购买二级域名：example.com

域名备案：防止在网上从事非法的网站经营活动，打击不良互联网信息的传播，一般在云厂商处即可进行实名认证并备案

修改配置：清空/etc/hosts

配置/etc/resolv.conf中nameservers为公共DNS迁移原配置，通过控制台添加解析记录即可

2.2.4 如何开放外部用户访问

如何建设外部网站，提升公司外部影响力？

方案：租赁一个外网ip,专用于外部用户访问门户网站，将www,example.com解析到外网ip

100.1.2.3,将该ip绑定到一台物理机上，并发布公网route,用于外部用户访问。

2.3 自建DNS服务器

2.3.1 问题背景

内网域名的解析也得出公网去获取，效率低下

外部用户看到内网ip地址，容易被hacker攻击

云厂商权威DNS容易出故障，影响用户体验

持续扩大公司品牌技术影响力，使用自己的DNS系统

从公有云托管->构建自己的DNS系统

2.3.2 DNS查询过程

2.3.3 DNS记录类型

A/AAAA:IP指向记录，用于指向IP,前者为IPv4记录，后者为IPv6记录

CNAME:别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址

TXT:文本记录，购买证书时需要

MX:邮件交换记录，用于指向邮件交换服务器

NS:解析服务器记录，用于指定哪台服务器对于该域名解析

SOA记录：起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是描述zone属性以及主要权威服务器的记录

2.3.4权威DNS系统架构

思考：站在企业角度思考，我们需要的是哪种DNS服务器？

答案：权威DNS、LocalDNS(可选)

常见的开源DNS:bind、nsd、knot、coredns

DNS Query

DNS Response

DNS Update

DNS Notify

DNS XFR

2.3.5权威DNS系统架构

经过研发人员的不断努力，example公司有了自己的权威DNS系统。

2.4 接入HTTPS协议

2.4.1 问题背景

页面出现白页/出现某些奇怪的东西

返回了403的页面

搜索不了东西

搜索问题带了小尾巴，页面总要闪几次

页面弹窗广告

搜索个汽车就有人给我打电话推销4s店和保险什么的

HTTP明文传输，弊端逐渐明显

2.4.2 对称加密和非对称加密

2.4.3 SSL的通信过程

client random

server random

premaster secret

加密算法协商->

对称秘钥session key

2.4.4证书链

Server端发送是带签名的证书链：

Client收到会仍然需要验证：

是否是可信机构颁布

域名是否与实际访问一致

检查数字签名是否一致

检查证书的有效期

检查证书的撤回状态

2.5 接入全站加速

2.5.1 问题背景

外网用户访问站点，一定是一帆风顺的吗？可能出现的问题有哪些？

1.源站容量低，可承载的并发请求数低，容易被打垮

2.报文经过的网络设备越多，出问题的概率越大，丢包、劫持、mtu问题，响应慢、卡顿

3.自主选路网络链路长，时延高

这些因素极大的流失了大部分的用户群体，PS留存率数据不乐观。

2.5.2 解决方案：

源站容量问题——增加后端机器扩容，静态内容，使用静态加速缓存

网络传输问题——动态加速DCDN

全站加速——静态加速+动态加速

2.5.3 静态加速 CDN

解决服务器端的“第一公里”问题

缓解甚至消除了不同运营商之间互联的瓶颈造成的影响

减轻了各省的出口带宽压力

优化了网上热点内容的分布

2.5.4 动态加速DCDN

针对POST等非静态请求等不能在用户边缘缓存的业务，基于智能选路技术，从众多回源线路中择优选择一条线路进行传输。

2.5.5 DCDN原理

RTT示例：

用户到核心：35ms

用户到边缘：20ms

边缘到汇聚：10ms

汇聚到核心：10ms

常规请求耗时计算：

Via DCDN:100ms

20(TCP)+20*2(TLS)+20+10+10(routine)

Direct:140ms

35(TCP)+35*2(TLS)+35(routine)

2.5.6 使用全站加速

请区分下列场景使用的加速类型

1、用户首次登录抖音，注册用户名手机号等用户信息

动态加速DCDN

2、抖音用户点开某个特定的短视频加载后观看

静态加速CDN

3、用户打开头条官网进行网页浏览

静态加速CDN+动态加速DCDN

2.6：4层负载均衡

2.6.1 问题背景：

提问:在运营商处租用的100.1.2.3的公网IP，如何在企业内部使用最合理?

现状:直接找一个物理机，ifconfig将网卡配上这个IP，起server监听即可

应用多，起多个server监听不同的端口即可

租多个公网ip (数量有限)

怎样尽可能充分的利用和管理有限的公网IP资源?

2.6.2 什么是四层负载均衡

基于IP+端口，利用某种算法将报文转发给某个后端服务器，实现负载均衡地落到后端服务器上。

三个主要功能：

1.解耦vip和rs

3.防攻击:syn proxy

2.6.3 常见的调度算法原理

RR轮询：Round Robin，将所有的请求平均分配给每个真实服务器RS

加权RR轮询：给每个后端服务器一个权值比例，将请求按照比例分配

最小连接：把新的连接请求分配到当前连接数最小的服务器

五元组hash：根据sip、sport、proto、dip、dport对静态分配的服务器做散列取模

缺点︰当后端某个服务器故障后，所有连接都重新计算，影响整个hash环

一致性hash：只影响故障服务器上的连接session，其余服务器上的连接不受影响

2.6.4 常见的实现方式FULLNAT

提问:RS怎么知道真实的CIP?

回答:通过TCP option字段传递然后通过特殊的内核模块反解

2.6.5 4层均衡特点

大部分都是通过dpdk技术实现,技术成熟，大厂都在用

纯用户态协议栈，kernel bypass，消除协议栈瓶颈

无缓存，零拷贝，大页内存（减少cache miss)

仅针对4层数据包转发，小包转发可达到限速，可承受高cps

2.6.6 使用4层负载均衡

2.7 7层负载均衡

2.7.1 问题背景：

提问：四层负载对100.1,2,3只能bind一个80端口，而有多个外部站点需要使用，该如何解决？

换个问法：有一些7层相关的配置需求，该怎么做？

SSL卸载：业务侧是http服务，用户需要用https访问

请求重定向：浏览器访问toutiao.com自动跳转www.toutiao.com

路由添加匹配策略：完全、前缀、正则

Header?编辑

跨域支持

协议支持：websocket、grpc、quic

2.7.2 Nginx简介

最灵活的高性能web server，应用最广泛的七层反向代理

特点：

模块化设计，较好的扩展性和可靠性

基于master/worker架构设计

支持热部署；可在线升级

不停机更新配置文件、更换日志文件、更新服务器二进制

较低的内存消耗：万个keep-alive连接模式下的非活动连接仅消耗2.5M内存

事件驱动：异步非阻塞模型，支持aio，mmap（内存映射）

2.7.3 Nginx 和 Apache性能对比

2.7.4 Nginx反向代理示意图

代理服务器功能：

Keepalive

访问日志

url rewrite重写·路径别名

基于ip的用户的访问控制

限速及并发连接数控制

....

2.7.5 Nginx内部架构

2.7.6 事物驱动模型

2.7.7 异步非阻塞

传统服务器:

一个进程/线程处理一个连接/请求阻塞模型、依赖OS 实现并发

Nginx:

一个进程/线程处理多个连接/请求异步非阻塞模型、减少OS 进程切换

2.7.8 Nginx简单调优

优化内核网络参数

fs.filemax= 999999

net.ipv4.tcp_tw_reuse= 1

net.ipv4.tcp_keepalive_time = 600net.ipv4.tcp_fin_timeout = 30

net.ipv4.tcp_max_tw_buckets = 5000

net.ipv4.ip_local_port_range = 1024 61000net.ipv4.tcp_max_syn.backlog=1024

net.ipv4.tcp_syncookies= 1

提升CPU使用效率

合适的worker进程数

Worker进程数= CPU核数

CPU亲和：

每个worker程绑定一个CPU核,提升缓存命中率

减少CPU开销：

multi_accept允许worker同时接受新连接accept_mutex解决惊群问题

reuseport 监听同端口,内核负载均衡

2.7.9 提升网络效率

连接复用：减少upstream建连

使用Cache：超时时间对业务的影响

gzip压缩：会增加cpu开销,需平衡使用

开启proxy_buffering：谨慎设置proxy buffer大小，磁盘io读写

2.7.10使用7层负载均衡

三、实践练习例子

3.1 DNS服务器搭建

3.1.1 Zone文件example.com.zone示例：

3.1.2 Bind实现LocaIDNS +权威DNS配置示例：

3.1.3 请求权威DNS结果

3.1.4 本地未命中,转发公共DNS 获取结果

3.2 四层负载均衡实验

开源的解决方案:LVS+keepalived

LVS: linux virtual server，linux虚拟服务器，根据目标地址和目标端口实现用户请求转发，本身不产生流量，只做用户请求转发，详见www.linuxvirtualserver.org/

Keepalived: LVS集群高可用，解决某个节点故障问题

成功案例：阿里云的CLB产品

Nginx stram模块:可进行四层协议tcp/udp报文进行转发、代理

Stream块示例：

    stream {

    upstream backend {

    hash $remote_addr consistent;

    server backend1.example.com:12345 weight=5;

    server 127.0.0.1:12345 max_fails=3 fail_timeout=30s;server unix:/tmp/backend3;

    }

    upstream dns {

    server 192.168.0.1:53535;server dns.example.com:53;
    }

    server {

    listen 1234;

    proxy_connect_timeout 1s;proxy_timeout 3s;

    proxy_pass backend;}

    server {

    listen 127.0.0.1:53 udp reuseport;proxy_timeout 20s;

    proxy_pass dns;}

    server {

    listen[:1]:5678;

    proxy_pass unix:/tmp/stream.socket;}
    }