将我的服务开放给用户|青训营笔记(四)

华科计科第二人
250 阅读10分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第四篇笔记。笔记的内容总结并归纳了陈耀园老师讲述的将我的服务开放给用户。了解了一个公司如果想要创建一个可以被用户使用的服务，需要进行哪些步骤。

通过这节课你能学到什么？

  • 系统地熟悉和学习到企业级网络接入核心组件以及基本原理

  • 当面试时，别人问你从输入网页到内容加载出来，可以泛泛而谈

  • 可以从零到一搭建属于自己的网站/博客（网络基础设施）

  • 当访问服务出现问题时，可以针对性地进行故障分析及解决

1.接入问题引入

经典问题：浏览器 输入网站域名www.toutiao.com到网页加载出来，都经历了哪些过程？

1.PNG

1、域名解析 2、TCP建立连接 3、SSL握手 ...

1.1 问题引入

浏览器抓包

2.PNG

为什么浏览器抓出了如此多的请求？ 根源或者本质？

www.toutiao.com

DNS->TCP->TLS->HTTP请求

1.2字节接入框架

3.PNG

2.企业接入升级打怪之路

2.1 使用域名系统

2.1.1 Host管理

example公司 主机表 Host->ip 映射

4.PNG

随着example公司业务规模和员工数量的增长，使用该方式面临诸多问题：

流量和负载： 用户规模指数级增长，文件大小越来越大，同意分发引起较大的网络流量和cpu负载

名称冲突：无法保证主机名称的唯一性，同名主机添加导致服务故障

时效性：分发靠人工上传，时效性太差

2.1.2 使用域名系统

使用域名系统替换hosts文件

关于域名空间：

  • 域名空间被组织成树形结构
  • 域名空间通过划分zone的方式进行分层授权管理
  • 全球公共域名空间仅对应一棵树
  • 根域名服务器：查询地点
  • 域名组成格式：[a-zA-z0-9_-]，以点划分label

顶级域gTLD:general Top-level Domains：

.gov政府 .edu教育 .com商业 .mil军事 .org非盈利组织

域名报文格式：(仅做了解)

5.PNG

2.1.3 域名购买与配置迁移

域名购买

6.PNG

购买二级域名：example.com

7.PNG

域名备案：防止在网上从事非法的网站经营活动，打击不良互联网信息的传播，一般在云厂商处即可进行实名认证并备案

修改配置：清空/etc/hosts 配置/etc/resolv.conf中nameservers为公共DNS，迁移原配置，通过控制台添加解析记录即可

2.1.4 如何开放外部用户访问

如何建设外部网站，提升公司外部影响力？ 方案：租赁一个外网ip，专用于外部用户访问门户网站，将www.example.com解析到外网ip 100.1.2.3，将该ip绑定到一个物理机上，并发布公网route，用于外部用户访问。

8.PNG

2.2 自建DNS服务器

2.2.1 问题背景

内网域名的解析也得出公网去获取，效率低下

外部用户看到内网ip地址，容易被hacker攻击

云厂商权威DNS容易出故障，影响用户体验

持续扩大公司品牌技术影响力，使用自己的DNS系统

从公有云扩展->构建自己的DNS系统

2.2.2 DNS查询过程

9.PNG

2.2.3 DNS记录类型

A/AAAA: IP指向记录，用于指向IP，前者为IPv4记录，后者为IPv6记录

CName： 别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址

TXT: 文本记录，购买证书时需要

MX： 邮件交换记录，用于指向邮件交换服务器

NS：解析服务器记录，用于制定哪台服务器对于该域名解析

SOA记录：起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是藐视zone树形以及主要权威服务器的记录

10.PNG

11.PNG

2.2.4 权威DNS系统架构

思考：站在企业的角度思考，我们需要的是哪种DNS服务器？ 答案：权威DNS、LocalDNS(可选)

常见的开源DNS：bing、nsd、knot、coredns

  • DNS Query
  • DNS Response
  • DNS Update
  • DNS Notify
  • DNS XFR

2.2.5 权威DNS系统架构

12.PNG

2.3 接入HTTPS协议

2.3.1 问题背景

页面出现白页/出现某些奇怪的东西

返回了403的页面

搜索不了东西

搜索问题带了小尾巴，页面总要闪几次

页面弹窗广告

搜索个汽车就有人给我打电话推销4s店和保险之类

...

HTTP明文传输，弊端越来越明显

13.PNG

2.3.2 对称加密和非对称加密

常见的加密算法：

对称加密：一份秘钥

14.PNG

非对称加密：公钥和私钥

15.PNG

2.3.3 SSL的通信过程

  • client random
  • server random
  • premaster secret
  • 加密算法协商

对称秘钥session key

16.PNG

2.3.4 证书链

公钥确定是可信的吗？会不会被劫持？

Server端发送是带签名的证书链（下图）

17.PNG

Client收到仍然需要验证：

  • 是否是可信机构颁布
  • 域名是否与实际访问一致
  • 检查数字签名是否一致
  • 检查证书的有效期
  • 检查证书的撤回状态

证书时如何进行验证签名的？

18.PNG

2.3.5 使用https

19.PNG

2.4 接入全站加速

2.4.1 问题背景

外部用户访问站点，一定是一帆风顺的吗？可能出现的问题有哪些？

20.PNG

源站容量低，可承载的并发请求数低，容易被打垮

报文经过的网络设备越多，出问题的概率越大，丢包、劫持、mtu问题

自主选路网络链路长，时延高

响应慢、卡顿

从而导致极大地流失了大部分的用户群体，NPS留存率数据不乐观

2.4.2 解决方案

源站容量问题：

增加后端机器扩容；静态内容，使用静态加速缓存

网络传输问题：

动态加速DCDN

全站加速：

静态加速+动态加速

2.4.3 静态加速CDN

当前的访问过程：

21.PNG

针对静态文件传输，网络优化方式？

缓存！

22.PNG

2.4.3 静态加速CDN

解决服务器端的“第一公里”问题

缓解甚至消除了不同运营商之间互联的瓶颈造成的影响

减轻了各省的出口带宽压力

优化了网上热点内容的分布

2.4.4 动态加速DCDN

动态请求：例如典型的post请求等

23.PNG

2.4.5 DCDN原理

24.PNG

RTT示例：

  • 用户到核心：35ms
  • 用户到边缘：20ms
  • 边缘到汇聚：10ms
  • 汇聚到核心：10ms

常规请求耗时计算： Via DCDN:100ms

20(TCP)+20*2(TLS)+20+10+10(routine)

Direct:140ms

35(TCP)+35*2(TLS)+35(routine)

2.4.6 使用全站加速

请区分下列场景使用的加速类型：

1、用户首次登录抖音，注册用户名和手机号等用户信息？ 动态加速DCDN

2、抖音用户点开某个特定的短视频加载后观看？ 静态加速CDN

3、用户打开头条官网进行网页浏览？ 静态加速CDN+动态加速DCDN

25.PNG

2.5 4层负载均衡

2.5.1 问题背景

提问：在运营商处租用的100.1.2.3的公网IP，如何在企业内部使用最合理

现状：直接找一个物理机，ifconfig将网卡配上这个IP，起server监听即可

应用多，起多个server监听不同的端口即可

租多个公网ip（数量有限）

怎样尽可能充分地利用和管理有限的公网IP资源

2.5.2 什么是4层负载均衡

基于IP+端口，利用某种算法将报文转发给某个后端服务器，实现负载均衡地落到后端服务器上

三个主要功能：

1、解耦vip和rs

2、NAT

3、防攻击：syn proxy

4层负载均衡示意图：

26.PNG

2.5.3 常见的调度算法原理

RR轮询：Round Robin，将所有的请求平均分配给每个真实服务器RS

加权RR轮询：给每个后端服务器一个权值比例，将请求按照比例分配

最小连接：把新的连接请求分配到当前连接数最小的服务器

五元组hash：根据sip、sport、proto、dip、dport对静态分配的服务器做散列取模。

缺点：当后端某个服务器故障后，所有连接都重新计算，影响整个hash环

一致性hash：只影响故障服务器上的连接session，其余服务器上的连接不受影响

2.5.4 常见的实现方式FULLNAT

27.PNG

提问：RS怎么知道真实的COP

通过TCP option字段传递，然后通过特殊的内核模块反解

2.5.5 4层负载均衡特点

大部分都是通过dpdk技术实现，技术成熟，大厂都在用

纯用户态协议栈，kernel bypass， 消除协议栈瓶颈

无缓存，零拷贝，大页内存（减少cache miss）

仅针对4层数据包转发，小包转发可达到限速，可承受高cps

2.5.6 使用4层负载均衡

28.PNG

2.6 7层负载均衡

2.6.1 问题背景

提问：四层负载均衡对100.1.2.3只能bind一个80端口，而有多个外部站点需要使用，该如何解决？

换个问法：有一些7层相关的配置需求，该怎么做？

SSL卸载：业务侧是http服务，用户需要用http访问

请求重定向：浏览器访问toutiao.com自动跳转www.toutiao.com

路由添加匹配策略：完全、前缀、正则

Header编辑

跨域支持

协议支持：websocket、grpc、quic

2.6.2 Nginx简介

最灵活的高性能WEB Server，应用最广的7层反向代理。

29.PNG

相比Apache，灵活性和性能完全碾压！！

模块化设计，较好的扩展性和可靠性

基于master/worker架构设计

支持热部署；可在线升级

不停机更新配置文件、更换日志文件、更新服务器二进制

较低的内存消耗：1万个keep-alove连接模式下的非活动链接仅消耗2.5M内存

事件驱动：异步非阻塞模型、支持aio，mmap(内存映射)

2.6.3 Nginx反向代理示意图

30.PNG

代理服务器功能：

  • keepalive
  • 访问日志
  • url rewrite重写
  • 路径别名
  • 基于ip的用户的访问控制
  • 限速及并发连接数控制
  • ...

2.6.4 Nginx内部架构

31.PNG

2.6.5 事件驱动模型

32.PNG

2.6.6 异步非阻塞

传统服务器：

一个进程/线程处理一个连接/请求
阻塞模型、依赖OS 实现并发

Nginx:

一个进程/线程处理多个连接/请求
一部非阻塞模型、减少OS 进程切换

2.6.7 Nginx简单调优

33.PNG

2.6.8 别让OS限制了Nginx的性能

优化内核网络参数

34.PNG

2.6.8 提升CPU使用效率

35.PNG

2.6.9 提升网络效率

连接复用

减少upstream建连

使用cache

超时时间对业务的影响

gzip压缩

会增加cpu开销，需平衡使用

开启proxy_buffering

谨慎设置proxy_buffer大小，磁盘io读写

2.6.10 使用7层负载均衡

37.PNG

3.动手实践

3.1 DNS服务器搭建

38.PNG

39.PNG

3.2 4层负载均衡实验

开源的解决方案：LVS+keepalived

LVS：linux virtual server,linux虚拟服务器，根据目标地址和目标端口实现用户请求转发，本身不产生流量，只做用户请求转发，详见www.linuxvirtualserver.org/

keepalived:LVS集群高可用，解决某个节点故障问题

成功案例：阿里云的CLB产品

40.PNG

Nginx stream模块：可进行四层协议tcp/udp报文进行转发、代理

41.PNG

42.PNG

3.3 7层负载均衡实验

43.PNG

3.4 SSL自签证书实验

44.PNG

3.5 如何将本地服务开发给外网访问

提问：服务开发前期，如何低成本的让别人访问自己的服务

回答：Ngrok,Expose your localhost to the web

使用条件：使用github账户授权登录，即可使用，详见dashborad.ngrok.com/get-started…

示例：

45.PNG

命令：./ngrok http example.com:8082

46.PNG

4. 课程回顾+总结

47.PNG

avatar
文章
阅读
粉丝