网络接入 | 青训营

158 阅读6分钟

网络接入

引言

浏览器查找IP地址

我们打开一个页面输入网址后,浏览器通过DNS服务器解析出对应的IP地址,向web服务器发送HTTP请求,建立TCP连接,服务器接收到请求之后处理并返回一个响应,浏览器显示页面。

环境准备

上节课我们已经了解到了一些抓包工具等等,我在centos7中下载了tcpdump的离线文件包,并通过rpm -ivh 文件名字安装软件包。

image.png

并且在windows环境下安装了wireshark软件。

使用软件wireshark

打开软件,右键对应的网卡,选择开始捕获(start capture),开始抓取网络包。

image.png

这密密麻麻的信息虽然看不懂,但是我大受震撼。

zhenhan.png

ping一下百度,操作完成后就会看到数据包被抓取到了。

image.png

企业接入

域名管理

host管理

使用host管理是不现实的,因为

  1. 流量和负载:用户规模指数级增长,文件大小越来越大,统一分发引起较大的网络流量和cpu负载。
  2. 名称冲突:无法保证主机名称的唯一性,同名主机添加导致服务故障
  3. 时效性:分发靠人工上传,时效性太差

使用域名系统

使用域名系统替换之前的hosts文件,域名空间被组织成树形结构,并且全球的域名空间都只有一棵树。 常见的顶级域名有gov政府.edu教育.com商业.mil军事.org非盈利组织

怎么让外部用户访问

方案:租赁一个外网ip,专用于外部用户访问门户网站,将域名解析到外网ip,将该ip 绑定到一台物理机上,并发布公网route,用于外部用户访问。

自建DNS服务器

存在问题

  • 内网域名的解析也得出公网去获取,效率低下
  • 外部用户看到内网ip地址,容易被hacker攻击
  • 云厂商权威DNS容易出故障,影响用户体验
  • 持续扩大公司品牌技术影响力,使用自己的DNS系统

DNS

从公有云托管->构建自己的DNS系统

DNS记录类型

  • A/AAAA:IP指向记录,用于指向IP,前者为IPv4记录,后者为IPv6记录
  • CNAME:别名记录,配置值为别名或主机名,客户端根据别名继续解析以提取IP地址
  • TXT:文本记录,购买证书时需要
  • MX:邮件交换记录,用于指向邮件交换服务器
  • NS:解析服务器记录,用于指定哪台服务器对于该域名解析
  • SOA记录:起始授权机构记录,每个zone有且仅有唯一的一条SOA记录,SOA是描述zone属性以及主要权威服务器的记录

常见的开源DNS: bind、 nsd、knot、coredns

HTTPS协议

对称加密:一份密钥

非对称加密: 公钥和私钥

ssl通信过程

  1. client random
  2. server random
  3. premaster secret
  4. 加密算法协商

证书链

客户端收到带有签名的证书链,需要验证签名:

  • 是否是可信机构颁布
  • 域名是否与实际访问一致
  • 检查数字签名是否一致
  • 检查证书的有效期
  • 检查证书的撤回状态

接入全站加速

存在问题

  • 源站容量低,可承载的并发请求数低,容易被打垮
  • 报文经过的网络设备越多,出问题的概率越大,丢包、劫持、mtu问题
  • 自主选路网络链路长,时延高

极大的流失了大部分的用户群体,NPS留存率数据不乐观。

解决方案

源站容量问题:增加后端机器扩容;静态内容,使用静态加速缓存

网络传输问题:动态加速DCDN

全站加速 静态加速+动态加速

静态加速CDN

  • 解决服务器端的“第一公里”问题
  • 缓解甚至消除了不同运营商之间互联的瓶颈造成的影响
  • 减轻了各省的出口带宽压力
  • 优化了网上热点内容的分布

动态加速DCDN

针对 POST等非静态请求等不能在用户边缘缓存的业务,基于智能选路技术,从众多回源线路中择优选择一条线路进行传输。

4层负载均衡

提问:在运营商处租用的100.1.2.3的公网IP,如何在企业内部使用最合理?

现状:

  • 直接找一个物理机,ifconfig将网卡配上这个IP,起server监听即可
  • 应用多,起多个server监听不同的端口即可
  • 租多个公网ip(数量有限)

介绍

基于IP+端口,利用某种算法将报文转发给某个后端服务器,实现负载均衡地落到后端服务器上。

主要功能:

  1. 解耦vip 和rs
  2. NAT
  3. 防攻击: syn proxy

调度算法

  1. RR轮询: Round Robin,将所有的请求平均分配给每个真实服务器RS
  2. 加权RR轮询:给每个后端服务器一个权值比例,将请求按照比例分配
  3. 最小连接:把新的连接请求分配到当前连接数最小的服务器
  4. 五元组hash:根据sip、sport、proto、dip、dport对静态分配的服务器做散列取模 缺点:当后端某个服务器故障后,所有连接都重新计算,影响整个hash 环
  5. 一致性hash:只影响故障服务器上的连接session,其余服务器上的连接不受影响

常见的实现方式 FULLNAT

RS怎么知道真实的CIP?
通过TCP option字段传递然后通过特殊的内核模块反解

特点

  • 大部分都是通过dpdk技术实现,技术成熟,大厂都在用
  • 纯用户态协议栈,kernel bypass,消除协议栈瓶颈
  • 无缓存,零拷贝,大页内存(减少cache miss)
  • 仅针对4层数据包转发,小包转发可达到限速,可承受高cps

7层负载均衡

  • SSL卸载:业务侧是http服务,用户需要用https访问
  • 请求重定向∶浏览器访问toutiao.com自动跳转www.toutiao.com
  • 路由添加匹配策略:完全、前缀、正则
  • Header编辑
  • 跨域支持
  • 协议支持: websocket、grpc、quic

NGINX

  1. 模块化设计,较好的扩展性和可靠性
  2. 基于master/worker 架构设计
  3. 支持热部署;可在线升级
  4. 不停机更新配置文件、更换日志文件、更新服务器二进制
  5. 较低的内存消耗:1万个 keep-alive 连接模式下的非活动连接仅消耗2.5M内存
  6. 事件驱动:异步非阻塞模型、支持aio,mmap (内存映射)

nginx反向代理

nginx.png 代理服务器功能

  • Keepalive
  • 访问日志
  • url rewrite重写
  • 路径别名
  • 基于ip 的用户的访问控制
  • 限速及并发连接数控制

nginx内部架构.png

异步非阻塞

传统服务器: 一个进程/线程处理一个连接/请求阻塞模型、依赖OS 实现并发

Nginx: 一个进程/线程处理多个连接/请求异步非阻塞模型、减少OS 进程切换

nginx简单调优

nginx简单调优.png