网络与部署 | 青训营

pp一pp
172 阅读6分钟

打开抖音时一般会使用到哪些协议

image.png

1 抖音网络是怎么交互的

1.网络接入

先让手机能访问抖音服务器

image.png

1.1 网络接入-互联网

image.png

1.2 路由

image.png

image.png

image.png 不同网段发包/交互

image.png 路由主要属于IP层，一部分属于传输层。

路由不是改IP地址，是改MAC地址，找到发包口

void send_one_pkt()
{
    rt = find_rt(dst)    //包含主机出口网口&Nexthop
    ...
    l2->dst_mac = rt->next_hop->mac      //怎么获取路由的mac
    p = append(p,l2)
    ...
    send(p,rt_port)    //发包需要指定网卡为什么
}

动态路由BGP/OSPF等

1.3 ARP协议-找下一跳的mac

image.png

逻辑同网段才能发送ARP

ARP请求广播，ARP应答单播

免费ARP？ARP代理

ARP本质上是查找下一跳的MAC，不是请求目标地址

1.4 IP地址

唯一标识，互联网通用。抖音客户端一个，抖音服务端一个。

Mac地址不能代替IP地址吗

Ipv4不够用，一般怎么解决

1.5 NAT

内部用户通过NAT，改写原地址，局域网里可以使用同一IP，但到外部网是由NAT改写为不同的IP。

image.png

多个内网客户端访问同一个目标地址+端口，源端口恰好一样，冲突了，解决方案。

NAT不仅改IP，还会改端口。

2 将我的服务开放给用户

系统的熟悉和学习到企业级网络接入核心组件及基本原理

当面试，别人问到你从输入网页加载到内容加载出来，可以和别人能交谈

可以自己从零到一搭建属于自己的网站/博客（网络基础设施）

当访问服务器出现问题时，可以针对性的进行故障分析及解决

2.1 接入问题引入

经典问题： 浏览器输入网站域名www.toutiao.com 到网页加载出来，都经历了哪些过程？

1.域名解析

2.TCP建连

3.SSL握手

浏览器抓包

根源或者本质？

graph TD
DNS --> TCP --> TLS --> HTTP请求

2.2 字节接入框架

A life of a request

image.png

3 域名系统

3.1 Host管理

example公司

主机表

Host-> ip 映射

image.png

随着example公司业务规模和员工数量增长，使用该方式面临诸多问题。

流量和负载：用户规模指数级增长，文件大小越来越大，统一分发引起较大的网络流量和cpu负载

名称冲突：无法保证主机名称的唯一性，同名主机添加导致服务故障

时效性：分发靠工人上传，时效性太差

解决方法：使用域名系统替换hosts文件

关于域名空间：

域名空间被组织成树形结构

域名空间通过划分zone的方式进行分层授权管理

全球公共域名空间仅对应一棵树

根域名服务器：查询起点

域名组成格式：[a-zA-Z0-9]，以点划分label

image.png

顶级域gTLD：.gov、.edu、.com、.mil、.org

域名报文格式：

image.png

3.1.1 域名购买与配置迁移

域名购买：

image.png

image.png

购买二级域名：example.com

image.png

域名备案：防止在网上从事非法的网站经营活动，打击不良互联网信息的传播，一般在云厂商处即可实名认证并备案。

修改配置：清空/etc/hosts

配置/etc/resolv.conf中的nameservers为公共DNS迁移原配置，通过控制添加解析记录即可

3.1.2 如何开放外部用户访问

如何建设外部网站，提升公司外部影响力？

方案：租赁一个外网ip，专用于外部用户访问门户网站，将www.example.com 解析到ip100.1.2.3，将该ip绑定到一台物理机上，并发布公网route，用于外部用户访问

image.png

4 自建DNS服务器

4.1 问题

内网域名的解析也得出公网去获取，效率低下

外部用户看到内网ip地址，容易被hacker攻击。

云厂商权威DNS容易出故障，影响用户体验

持续扩大公司品牌技术影响力，使用自己的DNS系统

4.2 DNS查询过程

image.png

image.png

4.3 DNS记录类型

A/AAAA:IP指向记录，用于指向IP，前者为IPv4记录，后者为Ipv6记录

CNAME：别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址

TXT：文本记录，购买证书时需要

MX：邮件交换记录，用于指向邮件交换服务器

NS：解析服务器记录，用于指定哪台服务器对于该域名解析

SOA记录：起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是描述zone属性以及主要权威服务器的记录

image.png

image.png

4.4 权威DNS系统架构

思考：站在企业角度思考，我们需要的是哪种DNS服务器？

答案：权威DNS、LocalDNS（可选）

常见的开源DNS：bind、nsd、knot、coredns

DNS Query

DNS Response

DNS Update

DNS Notify

DNS XFR

image.png

经过研发人员的不断努力，example公司有了自己的权威DNS系统。

image.png

5 接入HTTPS协议

页面出现白页/出现某些奇怪的东西

返回了403的页面

搜索不了东西

搜索问题带了小尾巴，页面总是要闪几次

页面弹窗广告

搜索个汽车就有人给我打电话推销4s店和保险什么的

HTTP明文传输，弊端越来越明显

image.png

https不就是http后面加了个s吗？

5.1 对称加密和非对称加密

常见的加密算法：

对称加密：一份秘钥

image.png

非对称解密：公钥和私钥

image.png

5.2 SSL的通信过程

client random

Server random

premaster secret

加密算法协商

graph TD
加密算法协商 --> 对称密钥sessionkey

image.png

5.3 证书链

公钥确定是可信的吗？会不会被劫持？

image.png Server 端发送是带签名的证书链

Client收到仍然会验证

5.4 使用https

image.png

image.png

6 接入全站加速

6.1 背景

外网用户访问站点，一定是一帆风顺的吗？可能出现的问题有哪些？

image.png

源站容量低，可承载的并发量请求数低，容易被打垮

报文经过的网络设备越多，出问题的概率越大，丢包、劫持、mtu问题

自主选路网络链路长，时延高

响应慢、卡顿

极大的流失了大部分的用户群体，NPS留存率数据不乐观。

6.2 解决方案

源站容量问题 增加后端机器扩容；静态内存，使用静态加速缓存

网络传输问题 动态加速DCDN

全站加速 静态加速+动态加速

6.2.1 静态加速 CDN

当前的访问过程 image.png 针对静态文件传输，网络优化方式？

缓存 image.png

解决服务器端的“第一公里”问题

缓解甚至消除了不同运营商之间互连的瓶颈造成的问题

解决了各省的出口带宽压力

优化了网上热点内容的问题

6.2.2 动态加速 DCDN

针对POST等非静态请求等不能在用户边缘缓存的业务，基于智能选路技术，从众多回源路线中择优选择一条线路进行传输。

image.png

6.2.3 DCDN原理

image.png RTT示例：

用户到核心：35ms

用户到边缘：20ms

用户到汇源：10ms

用户到核心：10ms

常规请求耗时计算：

Via DCDN：100ms

20（TCP）+20* 2（TLS）+20+10+10（routine）

Direct：140ms

35（TCP）+35 * 2（TLS）+35（routine）

6.2.4 使用全站加速

image.png

image.png

avatar
文章
阅读
粉丝