将我的服务开放给用户 | 豆包MarsCode AI刷题
课程目录
- 网络接入问题的引入
- 企业接入升级打怪之路(上)
- 企业接入升级打怪之路(下)
- 网络接入动手实践与课程总结
网络接入问题的引入
能学到：
- 系统的熟悉和学习到企业级网络接入核心组件及基本原理
- 当面试时，别人问到你从输入网页到内容加载出来，可以泛泛而谈
- 可以自己从零到一搭建属于自己的网站/博客(网络基础设施)
- 当访问服务出现问题时，可以针对性地进行故障分析及解决
问题引入
经典问题：浏览器输入域名到网站加载出来，都经历了哪些过程？
根源或者本质：
- DNS
- TCP
- TLS
- HTTP
如果我们要自己搭建一个站点，如何实现呢？
企业接入升级打怪之路(上)
- 域名系统
- 自建DNS服务器
- HTTPS协议
- 接入全站加速
- 四层负载均衡
- 七层负载均衡
域名系统
HOST管理
example公司 主机表 Host -> ip映射
问题：
- 流量和负载：用户规模指数级增长，文件大小越来越大，统一分发引起较大的网络流量和cpu负载
- 名称冲突：无法保证主机名称的唯一性，同名主机添加导致服务故障
- 时效性：分发靠人工上传，时效性太差
使用域名系统
使用域名系统替代host文件
关于域名空间：
- 域名空间被组织成树形结构
- 域名空间通过划分zone的方式进行分层授权管理
- 全球公共域名空间仅对应一棵树
- 根域名服务器：查询起点
- 域名组成格式
域名购买与配置迁移
去云服务提供商处购买
域名备案：防止在网上从事非法的网站经营活动，打击不良互联网信息的传播，一般在云厂商处即可进行实名认证并备案
修改配置：
- 清空/etc/hosts
- 配置/etc/resolv.conf中nameservers为公共DNS
- 迁移原配置，通过控制台添加解析记录即可
如何开放外部用户访问
组带一个外网ip，专用于外部用户访问门户网站，将域名解析到外网ip，将该ip绑定到一台物理机上，并发布公网route，用于外部用户访问
自建DNS服务器
问题背景
- 内网域名的解析也得出公网去获取，效率低下
- 外部用户看到内网ip地址，容易被hacker攻击
- 云厂商权威DNS容易出故障，影响用户体验
- 持续扩大公司品牌技术影响力，使用自己的DNS系统
DNS查询过程
讲过了……
-
DNS服务器怎么会知道每个域名的IP地址呢？答案是分级查询，这就涉及到每个域名的层级
- 仔细观察可以发现，域名
bilibili.com表示为bilibili.com.，在所有域名的尾部，都有一个根域名。换句话说，bilibili.com真正的域名是bilibili.com.root，简写为bilibili.com。因为根域名.root实际上对所有的域名都是一样的，所以平时是省略的 - 根域名的下一级叫顶级域名
tld，一般是.com或.net之类的形式。再下一级叫次级域名sld，如.bilibili，这是用户可以注册的。再下一级就是主机名host，比如a.w.bilicdn1.com.的a.w，这是用户在自己域里面为服务器自行分配的 - 域名层级结构：
host.sld.tld.root
- 仔细观察可以发现，域名
-
DNS服务器根据域名的层级进行分级查询，每一级域名都有自己的NS记录，NS记录指向该级域名的域名服务器
- “根域名服务器"的NS记录和IP地址一般不会变化，所以内置在DNS服务器内
- 从"根域名服务器"查到"顶级域名服务器"的NS记录和A记录（IP地址）
- 从"顶级域名服务器"查到"次级域名服务器"的NS记录和A记录（IP地址）
- 从"次级域名服务器"查出"主机名"的IP地址
DNS记录类型
- A/AAAA：IP指向记录，用于指向IP，前者IPv4，后者IPv6
- CNAME：别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址
- TXT：文本记录，购买证书时需要
- MX：邮件交换记录，用于指向邮件交换服务器
- NS：解析服务器记录，用于指定哪台服务器对于该域名的解析
- SOA记录：起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是描述zone属性以及主要权威服务器的记录
权威DNS系统架构
站在企业角度思考，我们需要的是哪种DNS服务器？
权威DNS，LocalDNS(可选)
常见的开源DNS：bind、nsd、knot、coredns
- DNS Query
- DNS Response
- DNS Update
- DNS Notify
- DNS XFR
接入HTTPS协议
问题背景
- 页面出现白页/出现某些奇怪的东西
- 返回了403的页面
- 搜索不了东西
- 搜索问题带了小尾巴，页面总要闪几次
- 页面弹窗广告
- 浏览记录泄露
HTTP明文传输，弊端越来越明显
对称加密和非对称加密
常见的加密算法
对称加密：一份秘钥
非对称加密：公钥和私钥
- 客户端发起请求
- 服务器自有公钥和私钥，这里将公钥返回给客户端
- 客户端生成密钥key，并使用得到的公钥对key进行加密
- 客户端把加密后的key发送给服务器
- 服务器使用私钥，解密这个公钥加密的key
- 此时双方都得到了密钥key，双方使用key进行对称加密传输
SSL的通信录过程
- client random随机字符串
- server random
- premaster secret
- 加密算法协商
- 对称密钥
证书链
公钥确定是可信的吗？会不会被劫持？
server发送的是带有签名的证书链，client收到后仍需要进行验证：
- 是否是可信机构颁布
- 域名是否与实际访问的一致
- 检查数字签名是否一致
- 检查证书的有效期
- 检查证书的撤回状态
服务器针对证书摘要信息进行加密，得到数字签名发送给上级CA公钥
使用HTTPS
解决信息窃听
接入全站加速
外网用户访问站点，一定是一帆风顺的嘛？可能出现的问题有哪些？
- 源站容量低，可承载的并发请求数低，容易被打垮
- 报文经过的网络设备越多，出问题的概率越大，丢包、劫持、mtu问题
- 自主选路网络链路长，时延高
- 总结来说，响应慢，卡顿，极大地流失了大部分的用户群体，NPS留存率数据不乐观
解决方案：
- 源站容量问题：增加后端机器扩容，静态内容，使用静态加速缓存
- 网络传输问题：动态加速DCDN
- 全站加速：静态加速+动态加速
静态加速CDN
针对静态文件(图片，视频，html，软件压缩包)传输，网络优化方式？
——缓存。合适的cdn节点提前缓存内容，终端直接访问cdn
解决服务器端的“第一公里”问题：最好在离终端尽可能近的地方响应
缓解甚至消除了不同运营商之间互联的瓶颈造成的影响
减轻各省的出口带宽压力
优化了网上热点内容的分布
动态加速DCDN
针对POST等非静态请求等不能再用户边缘缓存的业务，基于智能选路技术，从众多回源线路中择优选择一条线路进行传输
特定的路由优化：DCDN节点探测
全站加速
静态加速与动态加速有机结合
企业接入升级打怪之路(下)
四层负载均衡
问题背景
在运营商租用了一个公网IP，如何在企业内部使用最合理？
现状：直接找一个物理机，ifconfig将网卡配上这个IP，起server监听
应用多，起多个server监听不同端口即可
租用多个公文IP(数量有限)
怎样尽可能充分利用和管理有限的公网IP资源？
什么是四层负载均衡
基于IP+端口，利用某种算法将报文转发给某个后端服务器，实现负载均衡地货到后端服务器上
三个主要功能：
- 解耦vip和rs：vip是用户能看见的ip结果，内部请求转发给后端某台服务器上，由后端服务器的rip或者说rs(rserver)响应
- NAT：对流量不做处理，仅做转发给后端服务器的代理
- 防攻击：避免直接暴露后端服务器的ip地址
常见的调度算法原理
RR轮询：Round Robin，将所有的请求平均分配给每个真实服务器RS
加权RR轮询：给每个后端服务器一个权值比例，将请求按照比例分配
最小连接：把新的连接请求分配到当前连接数最小的服务器
五元组hash：根据sip、sport、proto、dip、dport对静态分配的服务器做散列取
- 缺点：当后端某个服务器故障后，所有连接都重新计算，影响整个hash环
一致性hash：只影响故障服务器上的连接session，其余服务器上的连接不受影响
常见的实现方式 FULLNAT
四层负载均衡通过vip访问，内部通过rip访问，转发到rs物理机
RS怎么知道真实的CIP？——通过TCP option字段传递，然后通过特殊的内核模块反解
四层负载均衡特点
大部分都是通过dpdk技术实现，技术成熟，大厂都在用
纯用户态协议栈，kernel bypass，消除协议栈瓶颈
无缓存，零拷贝，大页缓存，减少cache miss
进针对四层数据包转发，小包转发可达到限速，可承受高cps
七层负载均衡
为了解决外网vip的使用效率问题还有收益最大化问题
问题背景
四层负载对某特定ip只能bind一个80端口，而有多个外部站点需要使用，该如何解决？有一些七层相关的配置需求，该怎么做？
SSL卸载：业务侧是http服务，用户需要用https访问
请求重定向：浏览器访问baidu.com自动跳转www.baidu.com
路由添加匹配策略：完全，前缀，正则
Header编辑
跨域支持
协议支持：websocket、grpc、quic
nginx简介
最灵活的高性能web server，应用最广的七层负载均衡
nginx与apache相比：
- 并发连接数相同，nginx内存远小于apache
- 并发请求数高，nginx处理能力远胜apachwe
nginx特点：
- 模块化设计，较好的扩展性和可靠性
- 基于master/worker架构设计
- 支持热部署：可在线升级
- 不停机更新配置文件、更换日志文件、更新服务器二进制
- 较低的内存消耗：1w个keep-alive连接模式下的非活动连接进小号2.5M内存
- 事件驱动：异步非阻塞模型、支持aio，mmap
nginx反向代理示意图
代理服务器功能：
- Keepalive
- 访问日志
- url rewrite重写
- 路径别名
- 基于ip的用户的访问控制
- 限速及并发连接数控制
事件驱动模型
如何捕获 鼠标点击 这一动作？
循环扫描设备或者反复检测状态不太现实
事件系统：
简单来说，把每种动作归纳为某种时间，动作之间独立，理解为一个个task任务
每个任务有自己的核调函数
比方说有三个线程，线程里有事件的队列
cpu一个个处理，针对去调用核调函数
网络接入动手实践与课程总结
DNS服务器搭建
- Zone文件
- Bind实现LocalDNS+权威DNS配置示例
- 请求权威DNS结果
- 本地未命中，转发公共DNS获取结果
四层负载均衡均衡实验
开源解决方案：LVS+keepalived
LVS：linux virtual server，linux虚拟服务器，根据目标地址和目标端口实现用户请求转发，本身不产生流量，只做用户请求转发
Keepalived：LVS集群高可用，解决某个节点故障问题
成功案例：阿里云的CLB产品
Nginx stream模块：可进行四层协议tcp/udp报文进行转发代理
SSL自签证书实验
生成自签名证书
如何将本地服务开放外网访问
服务开发前期，低成本让别人访问自己的服务——Ngrok
要使用github账户授权登录即可使用，基础功能免费
