Ping 能通,TCP 443 却超时,跨运营商网络故障的完整排查实录

4 阅读12分钟

Ping 能通,TCP 443 却超时,跨运营商网络故障的完整排查实录

刚刚遇到一个比较奇怪的网络问题。

有一个部署在日本 AWS 上的业务服务,通过 TCP 443 端口对外提供访问。一台位于远程办公地点的 Mac 可以正常访问,但另一台使用手机热点上网的 Windows 电脑始终无法连接。

最初怀疑是服务器暂时不可用,或者两地的 DNS 解析结果不同。但奇怪的是,Windows 电脑能够正常访问其他 HTTPS 网站,只有这个业务服务无法连接。

如果只是某台电脑无法访问,排查范围其实很大。DNS、客户端配置、本地防火墙、运营商路由、服务器安全组,都有可能造成类似问题。

所以这次没有急着调整配置,而是从最基础的网络连通性开始,一步步确认连接究竟失败在哪里。

为了避免暴露实际业务信息,本文将服务域名替换为 api.example.com,服务器 IPv4 替换为 203.0.113.157,本地地址也进行了匿名化。

这些是文档示例地址,不能直接用于公网测试。文中的命令需要替换成实际业务地址后执行。

1. 先怀疑 DNS:两处网络是不是解析到了不同服务器?

最开始考虑的是 DNS 问题。

毕竟两台电脑位于不同地区,使用的网络也不同。如果服务使用了 DNS 调度,不同运营商完全可能解析到不同的入口地址。

如果其中一个入口异常,就会出现一边可以访问、一边无法访问的情况。

先在无法连接的 Windows 电脑上打开 PowerShell:

nslookup api.example.com

返回结果经过匿名化处理后如下:

Server:  public1.114dns.com
Address: 114.114.114.114

Non-authoritative answer:
Name:    api.example.com
Addresses: 2001:db8::157
           203.0.113.157

域名能够正常解析,而且同时返回了 IPv4 和 IPv6 地址。

不过,这还不能说明 DNS 没有问题。需要看看正常网络解析到了什么。

于是在另一台能够访问业务服务的 Mac 上执行:

nslookup api.example.com

结果是:

Server: 119.29.29.29
Address: 119.29.29.29#53

Non-authoritative answer:
Name:    api.example.com
Address: 203.0.113.157

两边的 DNS 服务器确实不同:

  • Windows 使用 114.114.114.114。
  • Mac 使用 119.29.29.29。

但两边解析到的 IPv4 是相同的。

Windows 额外获得了 IPv6 地址,说明两边的解析结果并非完全一致。不过,接下来可以直接针对相同的 IPv4 地址进行连接测试,从而避免域名解析和地址选择造成干扰。

此时的判断:DNS 不是当前 IPv4 连接异常的主要嫌疑,但还不能排除网络层面的连接问题。

2. 再怀疑服务器不可达:先 Ping 一下

既然 DNS 能够获得服务器地址,接下来就要判断这个 IP 是否可达。

Windows PowerShell 执行:

ping 203.0.113.157

测试结果显示 Ping 正常,往返延迟大约为 91~92ms。

这说明至少在测试时,目标 IPv4 可以正常响应 ICMP Echo Request。

如果服务器 IP 完全不可达,Ping 也可能失败。但现在 Ping 成功,意味着不能简单地把问题归结为目标 IP 完全失联。

不过,Ping 成功不等于业务端口正常。

Ping 使用的是 ICMP 协议,而业务服务使用 TCP 443。两者在网络设备上可能经过不同的访问控制规则。

所以还要继续测试 TCP。

3. Ping 正常,为什么 TCP 443 却不通?

在 Windows PowerShell 中执行:

Test-NetConnection 203.0.113.157 -Port 443

结果如下:

WARNING: TCP connect to (203.0.113.157 : 443) failed

ComputerName           : 203.0.113.157
RemoteAddress          : 203.0.113.157
RemotePort             : 443
InterfaceAlias         : WLAN
SourceAddress          : 10.0.0.25
PingSucceeded          : True
PingReplyDetails (RTT) : 92 ms
TcpTestSucceeded       : False

这次终于出现了一个比较明确的线索:

PingSucceeded    : True
TcpTestSucceeded : False

也就是说,目标 IP 可以回应 Ping,但 TCP 443 连接失败。

这让我开始怀疑问题可能不在 DNS,而是在 TCP 建连阶段。

正常情况下,TCP 建立连接需要完成三次握手:

客户端                          服务器
   |                               |
   | ----------- SYN ------------> |
   |                               |
   | <--------- SYN-ACK ---------- |
   |                               |
   | ----------- ACK ------------> |
   |                               |
   |         连接建立成功          |

如果其中任意一步的报文没有正常到达,连接就无法建立。

那么问题来了:是 Windows 的 TCP 网络功能出了问题,还是只有这个服务器的 443 端口无法连接?

4. 排除 Windows 的 TCP 443 普遍异常

为了验证 Windows 是否能够正常发起其他 HTTPS 连接,继续测试一个公网网站。

Test-NetConnection www.microsoft.com -Port 443

测试结果:

TcpTestSucceeded : True

这一步非常重要。

如果所有 TCP 443 连接都失败,那么应该优先排查 Windows 网络配置、本地防火墙、代理或热点转发。

但现在其他公网 HTTPS 服务能够正常建立 TCP 连接,只有这个特定目标失败。

这说明 Windows 并不是完全无法进行 TCP 443 通信。

排查范围进一步缩小到了特定目标 IP、端口及其连接路径。

不过,还有一种可能:服务器自己的 443 端口已经关闭,或者只是在之前正常,现在发生了故障。

因此需要从另一处网络验证。

5. 在正常网络上测试同一个 IP 和端口

由于两台电脑相距较远,无法直接把 Windows 接入 Mac 所在的宽带,因此使用 Mac 进行远程对照测试。

在 macOS 终端执行:

nc -vz -G 5 203.0.113.157 443

其中:

  • -v 输出详细信息。
  • -z 只检测连接,不发送业务数据。
  • -G 5 在 macOS 中设置 TCP 连接超时为 5 秒。

返回结果:

Connection to 203.0.113.157 port 443 [tcp/https] succeeded!

又通过域名测试:

nc -vz -G 5 api.example.com 443

同样连接成功。

此时可以把两个网络的结果放在一起比较。

检测项目Windows(异常网络)Mac(正常网络)
DNS 解析成功成功
目标 IPv4相同相同
Ping成功,约 92ms未单独测试
TCP 443失败成功
业务服务无法访问正常访问

到这里,服务器的 TCP 443 端口并不是对所有网络都不可用。

同一个 IP、同一个 TCP 端口,两个网络却得到了相反的连接结果。

这时开始重点考虑三个方向:

  1. 异常网络到目标 IP 的运营商路由存在问题。
  2. 某个网络设备过滤了连接请求或返回报文。
  3. 服务器或上游防火墙限制了异常网络的公网出口 IP。

但还有一个不能忽略的变量:两端使用的操作系统和设备也不同。

目前只能确定连接结果具有网络环境差异,尚不能直接认定是运营商的问题。

6. 想知道 TCP 究竟卡在哪里,只能继续抓包

前面的测试已经说明 TCP 443 无法建立连接,但还不知道连接失败的具体过程。

例如:

  • 客户端有没有真正发送 SYN?
  • 服务器有没有回复 SYN-ACK?
  • 是否收到 TCP RST?
  • 连接失败是超时还是主动拒绝?

Test-NetConnection 只能告诉我们连接是否成功,无法完整回答这些问题。

因此决定在异常 Windows 电脑上抓包。

这里使用 Windows 自带的 pktmon,不需要先安装专门的抓包驱动。

开始抓包

以管理员身份启动 PowerShell。

清除现有过滤器:

pktmon filter remove

添加目标 IP 过滤器:

pktmon filter add -i 203.0.113.157 -t tcp

这里的 -i 指定目标地址,-t tcp 指定只过滤 TCP 协议。

如果电脑此前已经配置了 pktmon 过滤规则,需要注意第一条命令会将其清除。

启动抓包:

pktmon start --capture --comp nics --pkt-size 0

然后重新执行连接测试:

Test-NetConnection 203.0.113.157 -Port 443

等待连接测试完成后停止抓包:

pktmon stop

将生成的 ETL 文件转换为 PCAPNG:

pktmon etl2pcap PktMon.etl --out node-test.pcapng

这里使用当前目录下的 PktMon.etl 文件。如果实际生成位置不同,需要使用对应路径。

转换后的 node-test.pcapng 可以使用 Wireshark 打开。

抓包文件本身不需要修改或重新加载,转换完成即可分析。

查看 TCP 握手过程

在 Wireshark 中输入过滤表达式:

ip.addr == 203.0.113.157 && tcp.port == 443

这次抓包得到了非常关键的信息。

客户端连续发送了 5 个 TCP SYN,但抓包中没有观察到来自目标服务器的 SYN-ACK,也没有观察到 TCP RST。

抓包中的相对时间大致如下:

相对时间TCP 报文
0 秒SYN
1.005 秒SYN 重传
3.011 秒SYN 重传
7.014 秒SYN 重传
15.019 秒SYN 重传

连接过程可以简化成:

Windows 客户端                   云服务器
      |                              |
      | ---------- SYN ------------> |
      |                              |
      |         没有收到回应         |
      |                              |
      | -------- SYN 重传 ---------> |
      |                              |
      |         没有收到回应         |
      |                              |
      | -------- SYN 重传 ---------> |
      |                              |
      |             ...              |

SYN 重传间隔逐渐增大,符合 TCP 在没有收到有效握手响应时进行超时重传的行为。

到这一步,可以确定客户端已经发起 TCP 连接,但三次握手没有成功完成。

这也意味着当前故障还没有进入 TLS 或业务协议握手阶段。

如果此时继续调整应用层 TLS 参数、接口路径或者证书配置,通常无法解决 TCP SYN 无回应的问题。

不过,这份抓包仍然不能告诉我们报文具体丢在哪里。

有几种可能:

  • SYN 在客户端到服务器的途中被丢弃。
  • SYN 已经到达云端入口,但被防火墙丢弃。
  • 服务器发送了 SYN-ACK,但返回途中被丢弃。
  • 中间 NAT 或连接跟踪设备存在异常。

客户端只能证明自己没有收到回应,不能证明服务器一定没有收到请求。

要真正区分这些情况,通常需要进一步观察网络出口和服务器侧的流量。

7. 接下来怀疑手机热点:是 Windows 的问题,还是移动网络的问题?

抓包之后,还有一个值得关注的细节。

异常 Windows 电脑并不是连接普通家庭宽带,而是通过 Android 手机热点上网。

这意味着整个连接路径大致是:

Windows
   |
   | Wi-Fi
   v
Android 手机热点
   |
   | 移动数据
   v
移动运营商网络
   |
   | CGNAT / 运营商网关
   v
公网
   |
   v
AWS 云服务器

手机热点相当于在 Windows 和移动运营商网络之间增加了一层转发。

所以接下来需要区分两种可能:

一种是 Windows 到手机的热点转发出了问题。

另一种是手机所在的移动运营商网络本身无法访问这个目标。

比较直接的方法,是让 Android 手机不经过 Windows,直接使用移动数据测试服务器的 TCP 443。

Android 使用 Termux,可以先安装工具:

pkg update
pkg install netcat-openbsd curl

随后关闭手机 Wi-Fi、VPN 和代理,只使用移动数据执行:

nc -4 -vz -w 8 203.0.113.157 443

-4 强制使用 IPv4,-w 8 设置超时为 8 秒。

同时使用另一个公网服务作为对照:

nc -4 -vz -w 8 www.microsoft.com 443

如果手机直接访问目标成功,但 Windows 通过热点失败,就需要重点检查热点转发、Windows 网络配置和两者的路径差异。

如果手机和 Windows 都失败,就更值得怀疑手机运营商的网络出口,或者云服务器对该出口的访问限制。

这里需要说明:现有记录中没有完整的 Android 终端首次测试输出,因此不能把上述某一种结果描述为已经验证。

但随后手机网络发生的一次变化,提供了新的线索。

8. 一个新的线索:切换 SIM 卡后,服务突然恢复了

排查进行到移动网络这一层时,发现 Android 手机切换 SIM 卡或运营商后,原本无法连接的日本服务又能够正常访问。

这是整个排查后期最值得注意的变化。

因为访问的仍然是同一个业务服务,但手机接入的移动运营商发生了变化。

这让我开始重新关注运营商出口地址和网络路由。

不同 SIM 卡对应的移动网络,可能具有完全不同的公网出口和转发路径:

                    Android 手机
                         |
                +--------+--------+
                |                 |
              SIM A             SIM B
                |                 |
            运营商 A           运营商 B
                |                 |
             CGNAT A           CGNAT B
                |                 |
             出口 IP A         出口 IP B
                |                 |
             网络路径 A         网络路径 B
                |                 |
                +--------+--------+
                         |
                   AWS 业务服务

移动运营商通常会使用 CGNAT。

这意味着 Android 手机上看到的本地 IP,不一定是 AWS 服务器实际看到的来源 IP。

不同运营商的出口 IP 可能不同,网络路径、NAT 设备和访问控制策略也可能不同。

例如,某个云端防火墙如果限制了特定来源 IP 或 IP 段,就可能导致一张 SIM 无法访问,另一张 SIM 正常。

另一种可能是某个运营商到服务器的网络路径存在丢包或过滤。

也不能排除 SIM 切换导致移动数据会话重新建立,从而清除了临时异常的 NAT 状态。

因此,这个发现虽然有价值,但仍然不能直接下结论说某个运营商封锁了服务器 IP。

结语

遗憾的是,目前这个问题已经无法复现,排查也只能暂时告一段落。

从现有的测试结果来看,问题很可能出在运营商网络路径或相关访问控制上。但这部分对普通用户来说基本是个黑盒,没有运营商或服务端的配合,很难继续深入分析。

可惜最终没能找到确切原因,只能把这次排查过程和已有的线索记录下来。

如果你也遇到过类似情况:手机热点可以正常上网,唯独某个网站或服务无法访问,不妨尝试切换一次 SIM 卡或运营商,再切换回来,看看能否恢复连接。

这不一定能解决所有类似问题,也无法代替真正的故障定位,但至少是一个值得尝试的排查方法。