6 如何将我的服务开放给用户-计算机网络
- 系统的熟悉和学习到企业级网络接入核心组件及基本原理
- 当面试时，别人问到你从输入网页到内容加载出来，可以泛泛而谈
- 可以自己从零到一搭建属于自己的网站/博客(网络基础设施)
- 当访问服务出现问题时，可以针对性地进行故障分析及解决
1
1.1问题引入
经典问题：浏览器输入网站域名www.toutiao.com到网页加载出来，都经历了哪些过程? ①域名解析 ②TCP建连 ③SSL握手 ...
可以通过浏览器抓包区解析根源或者本质 ：www.toutiao.com
1.2字节接入框架
A life of a request
2 企业接入
- 域名系统
- 自建DNS服务器
- HTTPS协议
- 接入全站加速
- 四层负载均衡
- 七层负载均衡
2.1 使用域名系统
2.1.1 Host管理
随着公司业务规模和员工数量的增长，使用该方式面临诸多问题:
- 流量和负载:用户规模指数级增长，文件大小越来越大，统一分发引起较大的网络流量和cpu负载
- 名称冲突：无法保证主机名称的唯一性， 同名主机添加导致服务故障
- 时效性：分发靠人工上传，时效性太差
2.1.2 使用域名系统
使用域名系统替换hosts文件
关于域名空间:
- 域名空间被组织成树形结构
- 域名空间通过划分zone的方式进行分层授权管理
- 全球公共域名空间仅对应一棵树
- 根域名服务器:查询起点
- 域名组成格式: [a-zA-Z0-9 _-], 以点划分label
顶级域(gTLDgeneral Top-level Domains): gov政府 .edu教育.com商业.mil军事.org非盈利组织
域名报文格式：
2.1.3 域名购买与配置迁移
域名购买:
购买二级域名: example.com
域名备案：防止在网上从事非法的网站经营活动，打击不良互联网信息的传播，一般在云厂商处即可进行实名认证并备案 修改配置：清空/etc/hosts 配置/etc/resolv.conf中nameservers为公共DNS 迁移原配置，通过控制台添加解析记录即可
2.1.4 如何开放外部用户访问
方案:租赁一个外网ip,专用于外部用户访问户网站，将www.example.com解析到外网ip 100.1.2.3,将该ip绑定到一台物理机上，并发布公网route,用于外部用户访问。
2.2 自建DNS服务器
2.2.1 问题背景
使用外部云厂商DNS系统的缺点： 内网域名的解析也得出公网去获取，效率低下； 外部用户看到内网ip地址，容易被hacker攻击； 云厂商权威DNS容易出故障，影响用户体验； 持续扩大公司品牌技术影响力，使用自己的DNS系统
2.2.2 DNS查询过程
dig {$domain} +trace
dig 命令主要用来从 DNS 域名服务器查询主机地址信息,可以用来测试域名系统工作是否正常。 参数 主机：指定要查询域名主机； 查询类型：指定DNS查询的类型； 查询类：指定查询DNS的class； 查询选项：指定查询选项。 @<服务器地址>：指定进行域名解析的域名服务器； -b<ip地址>：当主机具有多个IP地址，指定使用本机的哪个IP地址向域名服务器发送域名查询请求； -f<文件名称>：指定dig以批处理的方式运行，指定的文件中保存着需要批处理查询的DNS任务信息； -P：指定域名服务器所使用端口号； -t<类型>：指定要查询的DNS数据类型； -x<IP地址>：执行逆向域名查询； -4：使用IPv4； -6：使用IPv6； -h：显示指令帮助信息。 dig @8.8.8.8 <www.baidu.com> #指定DNS服务器解析,比如
2.2.3 DNS记录类型
- A/AAAA: 主机记录，IP指向记录，用于指向IP，如果需要将域名指向一个 IP 地址，就需要添加 A 记录。前者为IPv4记录，后者为IPv6记录
- CNAME:别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址
- TXT:文本记录，标识和说明，购买证书时需要。长度限制为 255，可以做 SPF 记录（反垃圾邮件）和SSL证书的域名所有权验证
- MX:邮件交换记录，用于指向邮件交换服务器。如果需要设置邮箱，让邮箱能够收到邮件，需要添加 MX 记录。
- NS:解析服务器记录，用于指定哪台服务器对于该域名解析。如果需要把子域名交给其他 DNS 服务器解析，就需要添加 NS 记录。
- SOA记录:起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是描述zone属性以及主要权威服务器的记录。它必须是一个文件中的第一个记录。
TTL：记录缓存的时间，超时需要重新请求获取
SOA：主服务器 权威服务器 序列号 slave与master核对的时间 master无响应，重新检查时间 无master，slave提供权威解析的时间 无返回结果的保持时间
2.2.4 权威DNS系统架构
站在企业角度思考，我们需要的是哪种DNS服务器： 答案：权威DNS，LocalDNS(可选)
常见的开源DNS: bind、 nsd、 knot、coredns
DNS Query
DNS Response
DNS Update
DNS Notify 提醒slave是否更新
DNS XFR
example 公司有了自己的权威DNS系统，DNS访问变化：
2.3 接入HTTPS协议
2.3.1 问题背景
2.3.2 对称加密和非对称加密
常见的加密算法
对称加密：一份秘钥
非对称加密:公钥和私钥
常见：RSA
没有私钥无法获取key
2.3.3 SSL的通信过程
- client random
- server random
- premaster secret
- 加密算法协商 --> 对称秘钥session key
2.3.4 证书链
公钥确定是可信的吗?会不会被劫持?
Server端发送是带签名的证书链(下图)：
Client收到会仍然需要验证:
- 是否是可信机构颁布
- 域名是否与实际访问一致
- 检查数字签名是否一致
- 检查证书的有效期
- 检查证书的撤回状态
摘要信息：指纹 -加密-> 数字签名
当前证书的数字签名只能通过签发者的公钥解密
逐级去寻找签发者的证书，直至根证书为结束，然后通过公钥一级一级验证数字签名的正确性。
2.3.5 使用https
2.4 接入全站加速
2.4.1 问题背景
外网用户访问站点，一定是一帆风顺的吗?可能出现的问题有哪些?： 源站容量低，可承载的并发请求数低，容易被打垮 报文经过的网络设备越多，出问题的概率越大，丢包、劫持、mtu问题 自主选路网络链路长，时延高 响应慢、卡顿： 如果请求一个网页响应超过3秒，80%的用户就会找其他产品进行替代。就算做的再好也没用 极大的流失了大部分的用户群体，NPS留存率数据不乐观。
2.4.2解决方案
源站容量问题：增加后端机器扩容;静态内容，使用静态加速缓存 网络传输问题：动态加速DCDN 全站加速：静态加速+动态加速
2.4.3静态加速CDN
针对静态文件传输，网络优化方式?
初始：
加缓存（CDN）
解决服务器端的“第一公里”问题 缓解甚至消除了不同运营商之间互联的瓶颈造成的影响 减轻了各省的出口带宽压力 优化了网上热点内容的分布
2.4.4动态加速DCDN
针对POST等非静态请求等不能在用户边缘缓存的业务，基于智能选路技术，从众多回源线路中择优选择一条线路进行传输 。
- 用户发起动态请求
- 智能选择性能与稳定性最优路径
- 动态请求通过最优路径快速回源
2.4.5 DCDN原理
RTT示例:
- 用户到核心: 35ms
- 用户到边缘: 20ms
- 边缘到汇聚: 10ms
- 汇聚到核心: 10ms
常规请求耗时计算: Via DCDN: 100ms 20(TCP)+20*2(TLS)+20+ 10+ 10(routine)
Direct: 140ms 35(TCP)+35*2(TLS)+35(routine)
2.4.6使用全站加速
请区分下列场景使用的加速类型
-
用户首次登录抖音，注册用户名手机号等用户信息
动态加速DCDN -
抖音用户点开某个特定的短视频加载后观看 静态加速CDN
-
用户打开头条官网进行网页浏览 动态加速DCDN + 静态加速CDN
2.4.6 使用全站加速
2.5 4层负载均衡
2.5.1 问题背景
提问:在运营商处租用的100.1.2.3的公网IP，如何在企业内部使用最合理?
现状：直接找一个物理机，ifconfig将网卡配上这个IP，起server监听即可 应用多，起多个server监听不同的端口即可 租多个公网ip (数量有限)
怎样尽可能充分的利用和管理有限的公网IP资源?
2.5.2 什么是4层负载均衡?
做端口转发： 基于IP+端口，利用某种算法将报文转发给某个后端服务器，实现负载均衡地落到后端服务器上。
可以屏蔽非法请求
隐藏后端真实服务器，可以屏蔽非法请求
2.5.3 常见的调度算法原理
- RR轮询: Round Robin,将所有的请求平均分配给每个真实服务器RS
- 加权RR轮询：给每个后端服务器一个权值比例， 将请求按照比例分配
- 最小连接：把新的连接请求分配到当前连接数最小的服务器
- 五元组hash：根据sip、 sport、 proto、 dip、 dport对静态分配的服务器做散列取模 缺点：当后端某个服务器故障后，所有连接都重新计算，影响整个hash环 一致性hash: 只影响故障服务器上的连接session,其余服务器上的连接不受影响
2.5.4 常见的实现方式 FULLNAT
提问：RS怎么知道真实的CIP(client)? 回答：通过TCP option字段传递然后通过特殊的内核模块反解
2.5.5 4层负载均衡特点
大部分都是通过dpdk技术实现，技术成熟，大厂都在用 纯用户态协议栈，kernel bypass,消除协议栈瓶颈 无缓存，零拷贝，大页内存(减少cache miss) 仅针对4层数据包转发，小包转发可达到限速，可承受高cps
2.5.6 使用4层负载均衡
2.6 7层负载均衡
2.6.1问题背景
提问：四层负载对100.1.2.3只能bind一个80端口，而有多个外部站点需要使用，该如何解决? 换个问法:有一些7层相关的配置需求，该怎么做?
SSL卸载:业务侧是http服务，用户需要用https访问
请求重定向:浏览器访问toutiao.com自动跳转www.toutiao.com
路由添加匹配策略:完全、前缀、正则
Header编辑
跨域支持
协议支持: websocket、 grpc、 quic
2.6.2 7层负载均衡: Nginx简介
最灵活的高性能WEB SERVER,应用最广的7层反向代理。:
2.6.3 Nginx和Apache性能对比
- 模块化设计，较好的扩展性和可靠性
- 基于master/worker架构设计
- 支持热部署;可在线升级
- 不停机更新配置文件、更换日志文件、更新服务器二进制
- 较低的内存消耗: 1万个keep- -alive 连接模式下的非活动连接仅消耗2.5M内存
- 事件驱动:异步非阻塞模型、支持aio, mmap (内存映射)
2.6.4 Nginx反向代理示意图
代理服务器功能
- Keepalive
- 访问日志
- ourl rewrite重写
- 路径别名
- 基于ip的用户的访问控制
- 限速及并发连接数控制
2.6.5 Nginx内部架构
2.6.6 事件驱动模型
事件队列，不阻塞
2.6.7 异步非阻塞
传统服务器：一个进程/线程处理一个连接/请求。阻塞模型、依赖OS实现并发
Nginx: 一个进程/线程处理多个连接/请求。异步非阻塞模型、减少OS进程切换
2.6.8 Nginx简单调优
2.6.8 别让OS限制了Nginx的性能
优化内核网络参数
fs.filemax= 999999 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_keepalive_time = 600 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_max_tw_buckets = 5000 net.ipv4.ip_local_port_range = 1024 61000 net.ipv4.tcp_max_syn.backlog = 1024 net.ipv4.tcp_syncookies = 1
2.6.8 提升CPU使用效率
2.6.9 提升网络效率
2.6.10 使用7层负载均衡
03.动手实践
3.1 DNS服务器搭建
3.2 四层负载均衡实验
开源的解决方案: LVS+keepalived LVS: linux virtual server, linux虚拟服务器， 根据目标地址和目标端口实现用户请求转发，本身不产生流量，只 做用户请求转发，详见www.linuxvirtualserver.org/
3.3 7层负载均衡实验
3.4 SSL自签证书实验
3.5如何将本地服务开放外网访问
提问:服务开发前期，如何低成本的让别人访问自己的服务? 回答: Ngrok, Expose your localhost to the web
使用条件:使用github账户授权登录，即可使用，详见dashboard.ngrok.com/get-started…
命令: ./ngrok http example.com:8082
总结
再看接入架构
- 请求IP-> local DNS
- 全站加速的节点地址 权威DNS
- local DNS：返回给用户
- 用户发起请求给全站加速的节点
- 拿到IP
- 发送给服务器内网
- 四层负载均衡
- 七层负载均衡
- 业务后端
- 用户response
