如何将我的服务开放给用户 | 青训营笔记

115 阅读5分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第3篇笔记

01、接入问题引入

1.1 问题的引入

经典问题:浏览器输入网站域名www.toutiao.com 到网页加载出来,都经历了哪些过程?

域名解析-> TCP 建联 -> ssl握手 -> http请求...

1.2 字节的接入架构

image.png

02、企业接入升起打怪之路

2.1、使用域名系统

2.1.1 Host管理

随着公司业务规模的和员工数量的增加,使用这种方式会面临诸多的问题

  • 流量和负载:用户规模指数增加,文件大小越来越大,统一分发引起较大的网络流量和cpu负载
  • 名称冲突:无法保证主机名的唯一性,同名主机添加导致服务故障
  • 时效性:分发靠人工上传,时效性太差

使用域名系统

使用域名系统代替hosts文件

image.png

2.1.3 域名购买与配置迁移

可以在云厂商处购买域名,需要购买二级域名,需要进行域名备案,防止在网上从事非法的网络经营活动。

修改配置:清空/etc/hosts 配置/etc/resolv.conf中nameservers为公共DNS 迁移原配置,通过控制台添加解析记录即可

2.1.4 如何开发外部用户访问

如何建设外部网站,提升公司外部影响力? 方案:租赁一个外网ip,专用于外部用户访问门户网站,将www.example.com 解析到外网ip100.1.2.3,将该ip绑定到一台物理机上,并发布公网toute,用于外部用户访问。

2.2 自建DNS服务器

2.2.1 问题的背景

  • 内网域名的解析也要出公网去获取,效率低下
  • 外部用户看到内网ip,容易被黑客攻击
  • 云厂商权威DNS容易出故障,影响用户体验
  • 持续扩大公司品牌技术影响力,使用自己都NDS系统

从公有云托管-> 构建自己的DNS系统

2.2.2 DNS 查询的过程

image.png

2.2.3 DNS 记录类型

image.png

2.2.4 权威DNS系统架构

站在企业的角度,我们需要的是哪种DNS服务器? 权威DNS服务器

image.png

example公司有了自己的权威DNS系统

image.png

2.3 接入HTTPS协议

2.3.1 问题背景

  • 网页容易出项白页/出现某些奇怪的东西
  • 返回了403的页面
  • 搜索不了东西
  • 页面弹窗广告 HTTP 明文传输,弊端越来越明显

2.3.2 对称加密和非对称加密

对称加密

image.png

非对称加密

image.png

2.3.3 SSL的通信过程

image.png

2.3.4 证书链

client 收到会仍然需要验证:

  • 是否是可信机构颁发
  • 域名是否与实际访问一致
  • 检查数字签名是否一致
  • 检查证书的有效期
  • 检查证书的撤回状态

2.3.5 使用https

2.4 接入全站加速

2.4.1 问题背景

外网用户访问站点,一定是一帆风顺的吗?可能会出现的问题有哪些?

  • 源站容量低,可承载的并发请求量低,容易被打垮
  • 报文经过的网络设备越多,出问题的概率就越大,丢包,劫持、mut问题。
  • 自主选路网络链路长,时延高

2.4.2 解决方案

源站容量问题 : 增加后端机器扩容;静态内容,使用静态加速缓存 网络传输问题 : 动态加速DCDN 全站加速 : 静态加速+动态加速

2.4.3 静态加速 CDN

image.png

  • 解决了服务器端的”第一公里“问题
  • 缓解甚至消除了不同运营商之间互联的瓶颈造成的影响
  • 减轻了各省的出口带宽压力
  • 优化了网上热点内容的分布

2.4.4 动态加速

针对POST等非静态请求等不能在用户边缘缓存的业务,基于智能选路技术,从众多回源线路中择优选择一条线路进行传输。

2.4.5 DCDN原理

image.png

2.4.6 使用全站加速

image.png

2.5 4层负载均衡

2.5.1 问题背景

提问:在运营商处租赁的公网ip,如何在企业内部使用最合理?

现状:直接找一个物理机,ifconfig将网卡配上这个ip,起server监听即可 应用多,起多个server监听不同的端口即可 租多个公网ip

怎样尽可能充分利用和管理有限的公网ip资源?

2.5.2 什么是4层负载均衡

基于ip+端口,利用某种算法将报文转发给某个后端服务器,实现负载均衡地落到后端服务器上。

三个主要的功能:

  1. 解耦vip和rs
  2. NAT
  3. 防攻击:syn proxy

image.png

2.5.3 常见的调度算法

RR轮询: 将所有的请求平均分配给每个真实服务器rs 加权RR轮旋:给每个服务器一个权值比例,将请求按照比例分配 最小连接:把新的连接请求分配到当前连接数最小的服务器 五元组hash:根据sip,sport,proto,dip,dport对静态分配的服务器做散列取模 缺点:当后端某个服务器故障后,所有连接都将重新计算,影响整个hash环 一致性hash:只影响故障服务器上连接的session,其余服务器上的连接不受影响

最常见的实现方式 FULLNAT

image.png

rs怎么知道真是的cip? 通过tcp option字段传递,然后通过特殊的内核模块反解

2.5.5 4层负载均衡特点

  • 大部分都是通过dpdk技术实现的,技术成熟,大厂都在用
  • 纯用户态协议,消除协议栈瓶颈
  • 无缓冲,零拷贝,大页内存
  • 仅针对4层数据包转发,小包转发可达到限速,可承受高cps

2.5.6 使用4层负载均衡

image.png

2.6 7层负载均衡

2.6.1 问题背景

四层负载对一个ip只能bind一个80端口,而有多个外部站点需要使用,该如何解决? 有一个7层相关的配置需求,该如何做? ssl卸载、请求重定向、路由添加匹配策略、Header编辑、跨域支持、协议支持

2.6.2 Nginx简介

模块化设计,较好的扩展性和可靠性 基于 master/worker 架构设计 支持热部署,可在线升级 不停机更新配置文件,更换二进制文件,更新服务器二进制 较低的内存消耗 事件驱动:异步非阻塞模型、支持aio、mmap

2.6.3 Nginx内部架构

image.png

2.6.4 事件驱动模型

image.png

2.6.5 Nginx 简单调优

image.png

2.6.6 使用7层负载均衡

image.png