第六届字节跳动青训营第六课｜青训营本文简单概述了如何将我的服务开放给用户，一共分为三个部分：网络接入问题的引入、企业接

本文学习如何将我的服务开放给用户，分为四个部分：网络接入问题的引入、企业接入、实践总结。

系统的熟悉和学习到企业级网络接入核心组件及基本原理
当面试时，别人问到你从输入网页到内容加载出来，可以泛泛而谈
可以自己从零到一搭建属于自己的网站/博客(网络基础设施)
当访问服务出现问题时，可以针对性地进行故障分析及解决

1 接入问题的引入

经典问题:浏览器输入网站域名 www.toutiao.com 到网页加载出来，都经历了哪些过程?

域名解析
TCP建连
SSL握手
......

浏览器抓包 DNS-＞TCP-＞TLS-＞HTTP请求

2 企业接入

企业接入主要可以分为域名系统、自建DNS服务器、HTTPS协议、接入全站加速、四层负载均衡、七层负载均衡。

2.1 域名系统

2.1.1 Host管理

example公司

主机表

Host-＞ip映射

##
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting. Do not change this entry.
##
127.0.0.1 localhost
255.255.255.255 broadcasthost
::1             localhost
#example公司主机表
10.1.2.3 oa.example.com     #办公
10.2.3.4 wiki.example.com   #文档
10.3.4.5 passport.example.com    #员工认证
10.4.5.6 people.example.com     #人事
.......
End of section

随着example公司业务规模和员工数量的增长，使用该方式面临诸多问题：

流量和负载：用户规模指数级增长，文件大小越来越大，统一分发引起较大的网络流量和cpu负载
名称冲突：无法保证主机名称的唯一性，同名主机添加导致服务故障
时效性：分发靠人工上传，时效性太差

2.1.2 使用域名系统

使用域名系统替换hosts文件

关于域名空间:

域名空间被组织成树形结构
域名空间通过划分zone的方式进行分层授权管理
全球公共域名空间仅对应一棵树
根域名服务器:查询起点
域名组成格式: [a-zA-Z0-9_-], 以点划分label

域名.png

顶级域类似于在根的基础上做了分布式管理，顶级域gTLD: general Top-level Domains: gov政府.edu教育.com商业.mil军事.org非盈利组织

域名报文格式

www.toutiao.com: type A, class IN
  Nane: Wiw. tout ia0. com
  [Nare Length: 15]
  [Label Count: 3]
  Type: A (Host Address) (1)
  Class: IN (0x001)

2.1.3 域名购买与配置迁移

域名购买
购买二级域名：example.com
- 域名备案：防止在网上从事非法的网站经营活动，打击不良互联网信息的传播，一般在云厂商处即可进行实名认证并备案
修改配置：
- 清空/etc/hosts
- 配置/etc/resolv.conf中nameservers为公共DNS
- 迁移原配置，通过控制台添加解析记录即可

2.1.3 如何开放外部用户访问

如何建设外部网站，提升公司外部影响力?

方案：租赁一个外网ip,专用于外部用户访问门户网站，将 www.example.com 解析到外网ip 100.1.2.3，将该ip绑定到一台物理机上，并发布公网route，用于外部用户访问。

2.2 自建DNS服务器

2.2.1 问题背景

内网域名的解析也得出公网去获取，效率低下
外部用户看到内网ip地址，容易被hacker攻击
云厂商权威DNS容易出故障，影响用户体验
持续扩大公司品牌技术影响力，使用自己的DNS系统

2.2.2 DNS查询过程

通过dig {$domain} +trace查询

2.2.3 DNS记录类型

A/AAAA：IP指向记录，用于指向IP，前者为IPv4记录，后者为IPv6记录
CNAME：别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址
TXT：文本记录，购买证书时需要
MX：邮件交换记录，用于指向邮件交换服务器
NS：解析服务器记录，用于指定哪台服务器对于该域名解析
SOA记录：起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是描述zone属性以及主要权威服务器的记录

记录.png

2.2.4 权威DNS系统架构

思考：站在企业角度思考，我们需要的是哪种DNS服务器?

答案：权威DNS、LocalDNS (可选)

常见的开源DNS: bind、 nsd、knot、 coredns

DNS Query
DNS Response
DNS Update
DNS Notify
DNS XFR

系统架构.png

2.2.5 权威DNS系统架构

要访问 www.example.com 这个域名，首先解析这个域名的IP地址，首先会向local DNS发起请求，local DNS再向自建DNS发起请求，最终拿到解析地址100.1.2.3，最终用户再访问这个地址，到达公司的机房内部，从而获得请求的结果，内网可以直接请求内部的DNS服务器，

2.3 接入HTTPS协议

2.3.1 问题背景

页面出现白页/出现某些奇怪的东西
返回了403的页面
搜索不了东西
搜索问题带了小尾巴，页面总要闪几次
页面弹窗广告
搜索个汽车就有人给我打电话推销4s店和保险什么的
......

HTTP明文传输，弊端越来越明显，最常见的方法就是使用https协议。

2.3.2 对称加密和非对称加密

常见的加密算法

对称加密：一份秘钥

密钥.png

考虑到数据传输的安全性，这里需要使用非对称加密:公钥和私钥

非对称.png

私钥存在于服务器上，泄露的可能比较小，

2.3.3 SSL的通信过程

client random
server random
premaster secret
加密算法协商

对称密钥session key

2.3.4 证书链

公钥确定是可信的吗?会不会被劫持?

Server端发送是带签名的证书链

Client收到会仍然需要验证:

是否是可信机构颁布
域名是否与实际访问-致
检查数字签名是否一致
检查证书的有效期
检查证书的撤回状态

证书链是如何链签的。服务器对证书内容进行信息摘要计算的，会得到一个证书摘要信息，再用终结证书私钥把摘要信息进行加密，得到数字签名，服务器会把数字签名和摘要信息发送给客户，客户再用上级CA公钥进行解密签名，从而得到摘要信息。如果能正常解密说明摘要信息没有错，保障数据的安全性，同时使用相同的信息摘要算法，重新计算证书的摘要信息，将两个摘要信息进行比对，相同说明证书没有被篡改。

2.4 接入全站加速

2.4.1 问题所在

外网用户访问站点，一定是一帆风顺的吗?可能出现的问题有哪些?

响应慢、卡顿

源站容量低，可承载的并发请求数低，容易被打垮
报文经过的网络设备越多，出问题的概率越大，丢包、劫持、mtu问题
自主选路网络链路长，时延高

极大的流失了大部分的用户群体，NPS留存率数据不乐观。

2.4.2 解决方案

源站容量问题——增加后端机器扩容；静态内容，使用静态加速缓存网络传输问题——动态加速DCDN

全站加速静态加速+动态加速

2.4.3 静态加速CDN

针对静态文件传输，网络优化方式?

缓存
优势
- 解决服务器端的“第一公里”问题
- 缓解甚至消除了不同运营商之间互联的瓶颈造成的影响
- 减轻了各省的出口带宽压力
- 优化了网上热点内容的分布

2.4.4 动态加速DCDN

针对POST等非静态请求等不能在用户边缘缓存的业务，基于智能选路技术，从众多回源线路中择优选择一条线路进行传输。

动态加速.png

2.4.5 DCDN原理

RTT示例:

用户到核心: 35ms
用户到边缘: 20ms
边缘到汇聚: 10ms
汇聚到核心: 10ms

常规请求耗时计算: Via DCDN: 100ms 20(TCP)+202(TLS)+20+ 10+ 10(routine) Direct: 140ms 35(TCP)+352(TLS)+35(routine)

2.4.6 使用全站加速

请区分下列场景使用的加速类型

用户首次登录抖音，注册用户名手机号等用户信息

动态加速DCDN 2. 抖音用户点开某个特定的短视频加载后观看

静态加速CDN 3. 用户打开头条官网进行网页浏览

静态加速CDN+动态加速DCDN

2.5 4层负载均衡

2.5.1 问题背景

提问：在运营商处租用的100.1.2.3的公网IP，如何在企业内部使用最合理?

现状：直接找一个物理机，ifconfig将网卡配上这个IP，起server监听即可

应用多，起多个server监听不同的端口即可
租多个公网ip (数量有限)

怎样尽可能充分的利用和管理有限的公网IP资源?

2.5.2 什么是4层负载均衡

基于IP+端口，利用某种算法将报文转发给某个后端服务器，实现负载均衡地落到后端服务器上。

三个主要功能:

解耦vip和rs
NAT
防攻击: syn proxy

2.5.3 常见的调度算法原理

RR轮询：Round Robin，将所有的请求平均分配给每个真实服务器RS

加权RR轮询：给每个后端服务器一个权值比例，将请求按照比例分配

最小连接：把新的连接请求分配到当前连接数最小的服务器

五元组hash：根据sip、 sport、 proto、 dip、 dport对静态分配的服务器做散列取模

缺点：当后端某个服务器故障后，所有连接都重新计算，影响整个hash环

一致性hash：只影响故障服务器上的连接session，其余服务器上的连接不受影响

2.5.4 常见的实现方式FULLNAT

提问：RS怎么知道真实的CIP? 回答：通过TCP option字段传递，然后通过特殊的内核模块反解

2.5.5 4层负载均衡特点

大部分都是通过dpdk技术实现，技术成熟，大厂都在用

纯用户态协议栈，kernel bypass,消除协议栈瓶颈

无缓存，零拷贝，大页内存(减少cache miss)

仅针对4层数据包转发，小包转发可达到限速，可承受高cps

2.6 7层负载均衡

2.6.1 问题背景

提问：四层负载对100.1.2.3只能bind一个80端口，而有多个外部站点需要使用，该如何解决?

换个问法：有一些7层相关的配置需求，该怎么做?

SSL卸载：业务侧是http服务，用户需要用https访问

请求重定向：浏览器访问toutiao.com自动跳转www.toutiao.com

路由添加匹配策略：完全、前缀、正则

Header编辑

跨域支持

协议支持: websocket、 grpc、 quic

2.6.2 Nginx简介

最灵活的高性能WEB SERVER，应用最广的7层反向代理

模块化设计，较好的扩展性和可靠性

基于master/worker架构设计

支持热部署；可在线升级

不停机更新配置文件、更换日志文件、更新服务器二进制

较低的内存消耗：1万个keep-alive 连接模式下的非活动连接仅消耗2.5M内存

事件驱动：异步非阻塞模型、支持aio，mmap(内存映射)

3 实践

3.1 DNS服务器搭建

3.2 四层负载均衡实验

开源的解决方案: LVS+keepalived

LVS: linux virtual server, linux虛拟服务器，根据目标地址和目标端口实现用户请求转发，本身不产生流量，只做用户请求转发，详见ww.linuxvirtualserver.org/

Keepalived: LVS集群高可用，解决某个节点故障问题

Nginx stram模块:可进行四层协议tcp/udp报文进行转发、代理

Stream块示例

stream {
  upstream backend {
    hash $remote_ addr consistent;
    server backend1.example.com: 12345 weight=5;
    server 127.0.0.1:12345 max_ fails=3 fail _timeout= 30s;
    server unix:/tmp/backend3;
  }
  upstream dns {
    server 192.168.0.1:53535;
    server dns.example.com:53;
}

server的定义

server {
  listen 1234;
    proxy_connect timeout 1s;
    proxy_timeout 3s;
    proxy_pass backend;
  }
  
  server {
    listen 127.0.0.1:53 udp reuseport;
    proxy_timeout 20s;
    proxy_pass dns;
  }
  server {
    listen [::1]:5678;
    proxy_pass unix:/tmp/stream.socket; 
  }
}

3.3 如何将本地服务开放外网访问

提问：服务开发前期，如何低成本的让别人访问自己的服务?

回答：Ngrok, Expose your localhost to the web

使用条件：使用github账户授权登录，即可使用，详见dashboard.ngrok.com/get-started…

第六届字节跳动青训营第六课｜ 青训营