如何将我的服务开放给用户 | 豆包MarsCode AI刷题

用户471015227669
220 阅读11分钟

企业接入升级打怪之路

1 使用域名系统

1.1 Host管理

example 公司建立了自己的主机表 /etc/hosts 如下：

##
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting.Do not change this entry.
##
127.0.0.1	1oca1host
255.255.255.255 broadcasthost
::1				localhost
# example公司主机表
10.1.2.3 oa.example.com		#办公
10.2.3.4 wiki.example.com	#文档
10.3.4.5 passport.example.com	#员工认证
10.4.5.6 people.example.com	#人事
......
# End of sectton

随着 example 公司业务规模和员工数量的增长，使用host表面临诸多问题：

  • 流量和负载：用户规模指数级增长，文件大小越来越大，统一分发引起较大的网络流量和cpu负载。
  • 名称冲突：无法保证主机名称的唯一性，同名主机添加导致服务故障。
  • 时效性：分发靠人工上传，时效性太差。
1.2 使用域名系统

  • 使用域名系统替换 hosts 文件。

  • 关于域名空间：

    • 域名空间被组织成树形结构。
    • 域名空间通过划分zone的方式进行分层授权管理。
    • 全球公共域名空间仅对应一棵树。
    • 根域名服务器：查询起点。
    • 域名组成格式：[a-zA-Z0-9_-]，以点划分label。
    • 顶级域gTLD：general Top-level Domains：.gov政府 .edu教育 .com商业 .mil军事 .org非盈利组织。
1.3 域名购买与配置迁移
  • 清空 /etc/hosts。
  • 配置 /etc/resolv.conf 中的 nameservers 为公共 DNS 迁移原配置，通过控制台添加解析记录。
1.4 如何开放外部用户访问

  • 如何建设外部网站，提升公司外部影响力？

    • 方案：租赁一个外网ip，专用于外部用户访问门户网站，将 www.example.com 解析到外网ip 100.1.2.3，将该 ip 绑定到一台物理机上，并发布公网 route，用于外部用户访问。

2 自建DNS服务器

2.1 问题背景
  • 内网域名的解析也得出公网去获取，效率低下。
  • 外部用户看到内网ip地址，容易被hacker攻击。
  • 云厂商权威DNS容易出故障，影响用户体验。
  • 持续扩大公司品牌技术影响力，使用自己的DNS系统。
2.2 DNS查询过程
  • 客户端先访问本地域名服务器，如果缓存没有，本地域名服务器再递归或迭代的访问根域名服务器、顶级域名服务器、二级域名服务器...最终得到目的服务器的ip地址。
2.3 DNS记录类型
  • A/AAAA：IP指向记录，用于指向IP，前者为IPv4记录，后者为IPv6记录。
  • CNAME：别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址。
  • TXT：文本记录，购买证书时需要。
  • MX：邮件交换记录，用于指向邮件交换服务器。
  • NS：解析服务器记录，用于指定哪台服务器对于该域名解析。
  • SOA 记录：起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是描述zone属性以及主要权威服务器的记录。
2.4 权威DNS系统架构

  • 站在企业角度思考，我们需要的是哪种DNS服务器？

    • 权威DNS
    • LocalDNS(可选)

  • 常见的开源DNS：bind、nsd、knot、coredns。

3 接入HTTP协议

3.1 问题背景

  • 在用户访问 www.example.com 时，会遇到一些问题：

    • 页面出现白页/出现某些奇怪的东西
    • 返回了403的页面
    • 搜索不了东西
    • 搜索问题带了小尾巴，页面总要闪几次
    • 页面弹窗广告
    • 搜索个汽车就有人给我打电话推销4s店和保险什么的

    HTTP 是明文传输，弊端越来越明显。

    • 使用 HTTPS 来解决
3.2 对称加密和非对称加密

  • 常见的加密算法：

    • 对称加密：一份密钥
    • 非对称加密：公钥和私钥
3.3 SSL的通信过程

SSL (Secure Sockets Layer）安全套接层。是由Netscape公司于1990年开发，用于保障Word Wide Web（WWW）通讯的安全。主要任务是提供私密性，信息完整性和身份认证。1994年改版为SSLv2,1995年改版为SSLv3. image.png

4 接入全站加速

4.1 问题背景

  • 外网用户访问站点，一定是一帆风顺的吗？可能出现的问题有哪些？

    • 源站容量低，可承载的并发请求数低，容易被打垮。
    • 报文经过的网络设备越多，出问题的概率越大，丢包、劫持、mtu问题。
    • 自主选路网络链路长，时延高。

    从用户角度来看，就是响应慢、卡顿。

4.2 解决方案
  • 源站容量问题：增加后端机器扩容；静态内容，使用静态加速缓存。
  • 网络传输问题：动态加速DCDN。
  • 全站加速：静态加速+动态加速。
4.3 静态加速CDN

  • 针对静态文件传输，网络优化方式？

    • 缓存

  • 通过静态加速 CDN，有以下好处：

    • 解决服务器端的“第一公里”问题。
    • 缓解甚至消除了不同运营商之间互联的瓶颈造成的影响。
    • 减轻了各省的出口带宽压力。
    • 优化了网上热点内容的分布。
4.4 动态加速DCDN
  • 针对POST等非静态请求等不能在用户边缘缓存的业务，基于智能选路技术，从众多回源线路中择优选择一条线路进行传输。
4.5 使用全站加速

image.png

5 四层负载均衡

5.1 问题背景

  • 提问：在运营商处租用的100.1.2.3的公网IP，如何在企业内部使用最合理？

    • 现状：直接找一个物理机，ifconfig将网卡配上这个IP，起server监听即可。
    • 应用多，起多个server监听不同的端口即可。
    • 租多个公网 IP 。

  • 怎样尽可能充分的利用和管理有限的公网 IP 资源？

5.2 什么是4层负载均衡

  • 基于IP+端口，利用某种算法将报文转发给某个后端服务器，实现负载均衡地落到后端服务器上。

  • 三个主要功能：

    • 解耦 vip 和 rs。
    • NAT。
    • 防攻击：syn proxy 。
5.3 常见的调度算法原理

  • RR轮询：Round Robin，将所有的请求平均分配给每个真实服务器RS。

  • 加权RR轮询：给每个后端服务器一个权值比例，将请求按照比例分配。

  • 最小连接：把新的连接请求分配到当前连接数最小的服务器。

  • 五元组hash：根据sip、sport、proto、dip、dport对静态分配的服务器做散列取模。

    • 缺点：当后端某个服务器故障后，所有连接都重新计算，影响整个hash环。

  • 一致性hash：只影响故障服务器上的连接session,其余服务器上的连接不受影响。

5.4 4层负载均衡特点
  • 大部分都是通过dpdk技术实现，技术成熟，大厂都在用。
  • 纯用户态协议栈，kernel bypass，消除协议栈瓶颈。
  • 无缓存，零拷贝，大页内存（减少cache miss)。
  • 仅针对4层数据包转发，小包转发可达到限速，可承受高cps。
5.5 使用4层负载均衡

image.png

6 7层负载均衡

6.1 问题背景

  • 四层负载对100.1.2.3只能bind一个80端口，而有多个外部站点需要使用，该如何解决？有一些7层相关的配置需求，该怎么做？

    • SSL卸载：业务侧是http服务，用户需要用https访问。
    • 请求重定向：浏览器访问toutiao.com自动跳转www.toutiao.com。
    • 路由添加匹配策略：完全、前缀、正则。
    • Header 编辑。
    • 跨域支持。
    • 协议支持：websocket、grpc、quic。
6.2 Nginx简介

  • 最灵活的高性能WEB SERVER，应用最广的7层反向代理。

    • 模块化设计，较好的扩展性和可靠性。
    • 基于master/worker架构设计。
    • 支持热部署；可在线升级。
    • 不停机更新配置文件、更换日志文件、更新服务器二进制。
    • 较低的内存消耗：1万个keep-alve连接模式下的非活动连接仅消耗2.5M内存。
    • 事件驱动：异步非阻塞模型、支持aio，mmap(memory map)。
6.3 Nginx简单调优

image.png

6.4 使用7层负载均衡

image.png

动手实践

1. 搭建DNS服务器

安装BIND9
sudo apt-get update
sudo apt-get install bind9
配置DNS服务器

编辑 /etc/bind/named.conf.options 文件，具体配置如下：

options {
    directory "/var/cache/bind";
    listen-on { any; };
    allow-query { any; };
};

编辑 /etc/bind/named.conf.local 文件，添加 DNS 区域配置：

zone "example.com" {
    type master;
    file "/etc/bind/db.example.com";
};

创建 /etc/bind/db.example.com 文件，添加如下内容：

$TTL    604800
@       IN      SOA     ns1.example.com. admin.example.com. (
                        2023111201 ; Serial
                        604800     ; Refresh
                        86400      ; Retry
                        2419200    ; Expire
                        604800 )   ; Negative Cache TTL
;
@       IN      NS      ns1.example.com.
ns1     IN      A       192.168.1.1
www     IN      A       192.168.1.2

启动BIND9服务：

sudo systemctl restart bind9
使用dig命令测试：
dig @localhost www.example.com

2. 配置Nginx的Stream模块进行4层转发

安装Nginx
sudo apt-get install nginx
配置Stream模块

编辑 /etc/nginx/nginx.conf 文件，添加 stream 配置：

worker_processes auto;
error_log /var/log/nginx/error.log info;
events {
    worker_connections 1024;
}

stream {
    upstream backend {
        hash $remote_addr consistent;
        # 配置后端服务器地址
        server 192.168.1.2:80;
        server 192.168.1.3:80;
    }

    server {
        listen 12345;
        proxy_pass backend;
        proxy_connect_timeout 1s;
        proxy_timeout 3s;
    }
}

重启Nginx：

sudo systemctl restart nginx

3. 配置SSL自签证书

创建目录

首先，创建存储SSL证书和密钥的目录：

sudo mkdir -p /etc/nginx/ssl
生成自签证书
openssl req -x509 -newkey rsa:2048 -keyout /etc/nginx/ssl/server.key -out /etc/nginx/ssl/server.crt -days 365
配置Nginx使用SSL

编辑 /etc/nginx/nginx.conf 文件，添加SSL配置：

stream {
    upstream backend {
        hash $remote_addr consistent;
        # 配置后端服务器地址
        server 192.168.1.2:80;
        server 192.168.1.3:80;
    }

    server {
        listen 12345 ssl;
        ssl_certificate /etc/nginx/ssl/server.crt;
        ssl_certificate_key /etc/nginx/ssl/server.key;
        proxy_pass backend;
        proxy_connect_timeout 1s;
        proxy_timeout 3s;
    }
}

重启Nginx：

sudo systemctl restart nginx

这里会启动失败，这个问题通常是因为私钥文件被加密，而Nginx在启动时需要输入PEM密码。可以通过以下几种方法解决这个问题：

  • 方法一：移除PEM密码

你可以移除私钥文件的PEM密码，这样Nginx在启动时就不会提示你输入密码。使用以下命令移除PEM密码：

openssl rsa -in /etc/nginx/ssl/server.key -out /etc/nginx/ssl/server.key

这个命令会提示你输入PEM密码一次，然后移除密码。

  • 方法二：使用ssl_pass_phrase_file指令

可以在Nginx配置文件中使用ssl_pass_phrase_file指令，指定一个包含PEM密码的文件。这样Nginx在启动时会自动读取这个文件中的密码。例如：

ssl_certificate_key /etc/nginx/ssl/server.key;
ssl_pass_phrase_file /etc/nginx/ssl/server.key.passphrase;

在这个文件中，你可以写入PEM密码，这样Nginx在启动时就不会提示你输入密码。

  • 方法三：使用外部脚本

可以编写一个外部脚本，让Nginx在启动时自动执行这个脚本来提供PEM密码。例如：

ssl_pass_phrase_dialog exec:/path/to/your/script.sh;

然后在/path/to/your/script.sh中写入以下内容：

#!/bin/bash
echo "your_password"

这样Nginx在启动时会自动执行这个脚本并提供PEM密码。

4. 使用Ngrok将本地服务暴露到互联网

安装Ngrok
sudo snap install ngrok
启动Ngrok

使用以下命令将本地服务暴露到互联网：

ngrok http 12345

我们需要一个验证的ngrok账户和auth token才能使用ngrok。可以按照以下步骤解决这个问题：

  1. 注册ngrok账户：如果你还没有ngrok账户，需要先注册一个账户。访问ngrok的注册页面：dashboard.ngrok.com/signup。

  2. 获取auth token：注册账户后，你会在ngrok的控制台中看到你的auth token。你可以点击“Get Started”按钮，然后选择“Your Authtoken”来获取你的auth token1。

  3. 配置auth token：将获取到的auth token添加到你的ngrok配置文件中。你可以在你的ngrok.yml文件中添加以下内容：

authtoken: <your_auth_token>

Ngrok会生成一个公网URL，你可以通过这个URL访问你的本地服务。

测试步骤

  1. 测试DNS服务器：使用 dig 命令测试DNS查询：
dig @localhost www.example.com

image.png

  1. 测试Nginx四层转发和负载均衡：在不同的终端执行以下命令，确保Nginx正在正常转发和负载均衡：
curl http://localhost:12345

image.png

  1. 测试SSL：使用浏览器或 curl 命令测试SSL连接：

通常，CURL会验证服务器端的SSL证书来确定连接的安全性，如果证书验证失败, CURL会拒绝与服务器建立连接。使用-k选项可忽略这个验证过程，使CURL连接任何服务器而不检查SSL证书的有效性。

curl -k https://localhost:12345

image.png

  1. 测试Ngrok：使用生成的Ngrok URL，在浏览器中访问，验证服务是否可以从互联网访问。

总结

在这个实践项目中，我成功搭建了一个包含DNS服务器、四层代理、负载均衡、SSL自签证书和使用Ngrok将本地服务暴露到互联网的完整环境。通过这个项目，我实现了一个简单的网络服务配置，为学习和应用网络技术提供了宝贵的经验。

avatar
文章
阅读
粉丝