将服务开放给用户 | 青训营笔记

123 阅读7分钟

目标

  • 服务开发与企业实践相关知识的分析学习

接入问题引入

  • 经典问题:浏览器 输入网站域名www.toutiao.com到网页加载出来,都经历了哪些过程?

    1. 域名解析
    2. TCP建连
    3. SSL握手等等
  • 浏览器抓包的根源或者本质是什么?

  • 为什么我只是想访问这个主页,却出现了那么多请求?

    • 解释:
      1. 我们只需要关注首次请求即可,其他请求是为了渲染最终的页面。
      2. DNS->TCP->TLS->HTTP请求的发送

企业接入升级打怪之路

  1. 使用域名系统

    • Host管理
  2. 通过使用域名系统来替换Hosts文件

    • 关于域名空间

      • 域名空间被组织成数型结构
      • 域名空间通过划分zone的方式进行分层授权管理
      • 全球公共域名空间仅对应一棵树
      • 根域名服务器:查询起点
      • 域名组成格式:[a-zA-Z0-9_-],以划分label。
      • 顶级域名gTLD:general Top-level Domains:gov政府、.edu教育、.com商业、.mil军事、.org非盈利组织

域名报文格式:一串二进制数字。

  1. 自建DNS服务器
  • 问题:

    • 内网域名的解析也得去外网获取,效率低下

    • 外部用户可以看到内网ip地址,容易被hacker攻击

    • 云厂商权威DNS容易出故障,影响用户体验

    • 持续扩大公司品牌技术影响力,使用自己的DNS系统

  • DNS查询过程

    1. 先从网络客户端进入本地DNS服务器查找是否有改域名的缓存记录。
    2. 如果没有进入到DNS根服务器(13台根服务器)中查找然后返回本地DNS服务器。
    3. 找不到再进入.com域服务器(13台顶级域名服务器)进行查找然后返回结果到本地DNS服务器。
    4. 找不到进入163.com域服务器查询该域名对应的IP地址返回本地DNS服务器,再返回到网络客户端。
  • DNS记录类型

    • A/AAAA:IP指向记录,用于指向IP,前者为IPv4记录,后者为IPv6记录

    • CNAME:别名记录,配置值为别名或主机名,客户端根据别名继续解析以提取IP地址

    • TXT文本记录,购买证书时需要

    • MX:邮件交换记录,用于指向邮件交换服务器

    • NS:解析服务器记录,用于指定哪台服务器对于该域名解析

    • SOA记录:起始授权机构记录,每个zone有且仅有唯一的一条SOA记录,SOA是描述zone属性以及主要权威服务器的记录

权威DNS系统架构

HTTPS协议

  • 问题背景

    • 页面出现白页

    • 返回了403

    • 搜索不了东西

    • 页面弹窗等

问题原因是某些厂商对明文的HTTP进行了一些响应抓取,所以HTTP明文传输,弊端 越来越明显,然后就诞生了HTTPS,进行加密。

  • 对称加密和非对称加密

    • 对称加密:一份秘钥,数据传输效率

    • 非对称加密:公钥和私钥,数据传输安全性

    • 过程:客户端向服务器发起请求,服务器将公钥返回给客户端,客户端拿到服务器公钥后生成Key,通过公钥对Key进行加密并返还给服务端,服务端再用私钥进行解密。双方使用Key进行堆成加密传输。

  • 证书链

公钥确定是可信的吗?会不会被劫持?

  1. Server端发送的是带签名的证书链

  2. Clinet收到后会进行验证

    • 是否是可信机构颁布
    • 域名是否与实际访问的一致
    • 检查数字签名是否一致
    • 检查证书的有效期
    • 检查证书的撤回状态

4.接入全站加速

  • 问题背景

    • 外网用户访问站点,一定是一帆风顺的吗?可能出现的问题有哪些?

    • 比如说源站(网站)的容量低,可承载的并发请求数低,容易被打垮。(有点类似于DDos)

    • 报文经过的网络设备越多,出问题的概率越大,丢包、劫持、mtu问题。

    • 自主选路网络链路长,时延比较高。

    • 总结就是响应慢、卡顿。

  • 解决方案

    • 如果是源站容量问题,可以增加后端机器扩容;如果是静态内容,可以使用静态加速缓存

    • 网络传输问题就使用 动态加速DCDN

    • 全站加速 静态加速 + 动态加速

  • 静态加速 CDN

    • 访问过程针对静态文件传输,网络的优化方式

    • 通过缓存,通过将服务器中的静态内容储存到一个一个的cdn节点上,我们访问静态内容时,无需访问服务器的源站,直接可以通过cdn节点来获取静态内容。减轻了服务器的压力并且增加了访问速度。

    • 缩短了网络的链路吗,缓解了不同运营商互相访问的成本。减轻了各省的出口带宽压力(将静态内容请求都控制在靠近client端)。优化网络热点内容的分布。

原理:从源点获取的就不是DNS解析的结果,而是cdn节点解析的结果。

cdn节点使用的是自动调取DNS,它是根据一些算法和策略将一些比较合适的cdn节点或IP地址返回给LocalDNS,最终返回client。

同时cdn会发起一次请求,并且将此作为缓存。

  • 动态加速 DCDN

    • 针对一些POST等非静态请求等不能在用户边缘缓存的业务,基于智能选路技术,从众多回源线路中择优选择一条线路进行传输。

四层负载均衡

  • 如果在运营商处租用了一个100.1.2.3的公网IP,如何在企业内部使用最合理?

    • 现状:直接找一个物理机,Ifconfig将网卡配上这个IP,起server监听即可。应用越多,就要起多个server监听不同的端口。
  • 什么是四层负载均衡?

    • 基于IP+端口,利用某种算法将报文转发给某个后端服务器,实现负载均衡地落到后端服务器上。基于OSI七层模型进行划分的。
  1. 三个主要功能:

    • 解耦vip和rs
    • NAT
    • 防攻击:syn proxy,避免直接将公网IP暴露出来
  2. 常见的调度算法原理

    1. RR轮询:将所有请求平均分配给每个真实服务器RS
    2. 加权RR轮询:给每个后端服务器一个权值比例,将请求按照比例分配
    3. 最小链接:将新的连接请求分配到当前连接数最小的服务器
    4. 五元组hash:根据sip、sport、proto、dip、dport对静态分配的服务器做散列取模。
    5. 缺点就是当后端某个服务器故障之后,所有连接都重新计算,影响整个hash环。
    6. 一致性hash:只影响故障服务器上的连接session,其余服务器上的连接不受影响
  3. 七层负载均衡

  • 四层负载对100.1.2.3只能bind一个80端口,而有多个外部站点需要使用,该如何解决?

    1. SSL卸载,业务侧重是http服务,用户需要https访问
    2. 请求重定向:浏览器访问toutiao.com自动跳转www.toutiao.com
    3. 路由添加匹配策略:完全、前缀、正则
    4. Header编辑
    5. 跨域支持
    6. 协议支持:websocket、grpc、quic

Nginx

  • 模块化设计,较好的扩展性和可靠性

  • 基于maseter/worker架构设计

  • 支持热部署:可以在线升级

  • 不停机更新配置文件、更换日志文件、更新服务器二进制

  • 较低的内存消耗:一万个keep-alive连接模式下的非活动连接仅消耗2.5M内存

  • 事件驱动:异步非阻塞模型、支持aio,mmap(内存映射)

总结

  • 学习到企业级网络接入核心组件及基本原理
  • 通过本次课程学习,当访问服务出现问题时,可以针对性地进行故障分析及解决

引用

ppt:bytedance.feishu.cn/file/boxcnR…