1. 考题登场
你大概率刷到过那条推送:11 月 13 日,美东周五下午 3 点 54 分,FAA 下令全美机场停止起飞,4 小时 25 分钟后解除。下令时空中约 3,500 架航班(ABC/NBC 口径),媒体称它「9·11 以来最长」、史上第三次全国性停飞。
推送给了数字和地图截图,然后呢?没人用全流程的处理来演示如何把这条曲线跑出来。
这篇就干这件事。主角不是事件,是能力链:采集、清洗、聚合、绘制、核验从零搭一遍,教材用 ADS-B 数据。ADS-B(Automatic Dependent Surveillance–Broadcast,广播式自动相关监视)是什么?飞机差不多每秒广播一次位置和高度,呼号这类身份信息隔一阵播一次,地面网收起来就是一串串轨迹。
为什么拿它当考题?信号强——停飞前后空域差异悬殊,跑对了曲线一眼可见,跑错了藏不住。
2. 先押题,再动手
先别写代码,先押答案——对不上就回去查管道。
押三道题:
-
时刻级:下跌起点对上全国令 20:54Z,爬坡起点对上解除令 01:19Z(Z 即 UTC,美东减五)。
-
量级级:下令时读数与媒体「约 3,500 架」同数量级。
-
形态级:停飞不清空天空——空中航班陆续落地、无新起飞,曲线缓降不归零;解除后放行要协调,爬坡比下跌慢。
锚点从哪来?FAA 的 ATCSCC 通告库——空中交通管制系统指挥中心,通告带 ADVZY 编号。11-13 到 11-14 这条链:20:21 的 106 号(奥黑尔进场延误)、20:28 的 107 号(奥黑尔地面停止)、20:31 的 109 号(中途机场)、20:54 的 111 号全国停飞令,原文白纸黑字:
EVENT TIME: 13/2053 - 14/0400 DUE TO EXTRAORDINARY CIRCUMSTANCES AND FOR REASONS OF SAFETY … ALL AIRPORTS ARE GROUND STOPPED … UNTIL FURTHER NOTICE. INBOUND INTERNATIONAL FLIGHTS WILL BE MANAGED ON A CASE BY CASE BASIS. EFFECTIVE TIME: 132054-140430
往后 21:20 的 116 号空中等待、22:46 的 120 号延续令(原因栏:COMMUNICATIONS FAILURE),收尾在 11-14 01:19 的 005 号解除令(EFFECTIVE TIME: 140119-140200)。
通告库独立于 ADS-B,是现成的第二源——上一篇数据管道教程里用第二个归档源对账主源的思路,搬过来证明轨迹管道没跑偏。
通告库只开 15 天滚动窗口,自己拉,十几行 Python 零依赖:
# 代码①:通告链抓取
import re, json, urllib.request as u
from datetime import datetime
BASE = "https://www.fly.faa.gov/adv"
CHAIN = {"2026-11-13": [106, 107, 109, 111, 116, 120], "2026-11-14": [5]} # 六连发+次日解除令
get = lambda url: u.urlopen(u.Request(url, headers={"User-Agent": "Mozilla/5.0"}), timeout=30).read().decode("iso-8859-1")
ROW = re.compile(r'advn=(\d+)">(\d+)</a>\s*</td>\s*<td>([^<]+)</td>\s*<td>[^<]+</td>\s*<td>([^<]+)</td>\s*<td>([^<]+)</td>', re.S)
EFF = re.compile(r'EFFECTIVE TIME:.nbsp;</P>\s*</TD>\s*<TD class=val>([^<]+)', re.S) # .nbsp;=页面实体转义形态,. 做通配
anchors = []
for date, nums in CHAIN.items():
mmdd = datetime.strptime(date, "%Y-%m-%d").strftime("%m%d%Y") # 坑:adv_date 是 MMDDYYYY,不是 YYYYMMDD
lst = get(f"{BASE}/adv_list?whichAdvisories=ATCSCC&advisoryCategory=All&date={date}")
for advn, disp, fac, title, issued in ROW.findall(lst):
if int(advn) in nums:
page = get(f"{BASE}/adv_otherdis?adv_date={mmdd}&advn={advn}")
anchors.append({"advn": disp, "facility": fac, "title": title, "issued": issued,
"effective": EFF.search(page).group(1).strip()}) # EFF 打不中会抛错——页面改版时你会立刻知道,好过静默出错
anchors.sort(key=lambda a: a["issued"])
json.dump(anchors, open("anchors.json", "w"), indent=1, ensure_ascii=False)
print(len(anchors), "anchors -> anchors.json")
11 月 15 日实跑:打印 7 anchors -> anchors.json,111 号 issued 11/13/26 20:54、effective 132054-140430。窗口关了也不怕,文末附固化 anchors.json。
3. 数据源怎么选
全量数据源只有一家能当天免门槛拿下,候选就是这张表:
| 数据源 | 覆盖 11-13? | 门槛 | 许可 | 判定 |
|---|---|---|---|---|
| adsb.lol globe_history | 当日档已发布 | 免注册直接下 | ODbL 1.0(开放数据库许可,第 10 节细说) | 主路径 |
| FAA ATCSCC 通告库 | 15 天窗口 | 免注册 | .gov 公开 | 锚点源 |
| OpenSky REST | 认证也只回溯 1 小时 | 注册 | CC BY-SA | 查不了历史 |
| OpenSky Trino | 2013 至今全量 | 要申请,可能被拒 | CC BY-SA | 进阶选读 |
| FR24 / FlightAware | 有 | 付费 | 商业条款 | 不采用 |
两个认知点先说破。一,老教程还在教「OpenSky 带 time 参数查历史」——它回溯窗口只剩一小时,取不到 11-13,别被带偏。二,adsb.lol 是眼下唯一免申请、当日可得的全量轨迹源,代价是文件大(单日 3.5 GB 上下)、格式自己解析,留到第 5 节。
归档深度顺带:globe_history 从 2026-01-10 起档,更早没有——第 9 节选对照日的硬约束。
4. 采集:6.5 GB 到手
主路径定了:adsb.lol 每日 dump 在 GitHub Releases,按 readsb 轨迹格式打包——readsb,社区最常用的开源解码器。事发日 11-13 和恢复日 11-14 都得下,各跑一遍,四件分卷合计 6.48 GB。
实战一句:本机到 github.com 间歇断流,走 gh-proxy.com 镜像中转才拉完。通道不用纠结,完整性靠验签兜底:官方 sha256 在 Release 页 digest 字段(或 GitHub API assets 列表)查得到,下完逐一比对,不过就重下。镜像只是下载通道,验签才算数。
# 代码②:分卷下载+验签
TAG=v2026.11.13-planes-readsb-prod-0
MIRROR="https://gh-proxy.com/https://github.com/adsblol/globe_history/releases/download"
for part in aa ab; do
curl -L -C - -o "$TAG.tar.$part" "$MIRROR/$TAG/$TAG.tar.$part" # 直连被断就走镜像,-C - 断点续传
done
shasum -a 256 "$TAG".tar.* # 与 GitHub Release 官方 digest 逐一比对,不过就重下;Linux 用 sha256sum
cat "$TAG.tar.aa" "$TAG.tar.ab" | tar -xf - # 分卷按名序拼接后解压
# 11-14 同法:TAG 换 v2026.11.14-… 再跑一遍
解压出来 traces/ 是要用的,heatmap/ 点云用不上。
5. 清洗聚合:从一亿个点到一条曲线
解压完先看结构:traces/ 按 ICAO 24 位地址(六位十六进制)前两位切成 256 个分片目录,每机一个 gzip JSON:文件头是 icao 和 timestamp(当日 00:00Z 基准秒),trace 数组每个点是「偏移秒、纬度、经度、高度……」,高度空中是英尺数、地面是字符串 "ground"。
处理链四步:剔地面点、滤空值、过美国 bbox(经纬度圈出的矩形,取 24–50N、125–66W 本土框)、按分钟折桶。icao 带 ~ 前缀的是 TIS-B——地面站替没装 ADS-B 的旧飞机转发的广播,事发日 6,302 架次,全量口径保留。但伪地址跟同机真实 icao 可能重复计数、会话间变址——口径只保量级判定,不保精确架次。
比这更要紧的是口径。「全国空中在飞架次」数什么?该分钟内至少一个空中点的去重航空器数。三条:按航空器全量而非航班(媒体的 3,500 是航班口径,对数只比数量级);bbox 近似而非官方领空(通告明示阿拉斯加、夏威夷州内未受影响,框进来稀释信号);时间全 UTC 分钟桶——这三条立住,第 7 节量级判定才有底。
教学版四十行:
# 代码③:单分片清洗聚合(教学版)
"""单分片 readsb traces -> 逐分钟在飞架次(教学版,全量版同口径加多进程)。
口径三条:①在飞架次=该分钟至少 1 个空中点(alt_baro != "ground")的去重航空器数(icao 计,含 ~ 前缀 TIS-B)
②空域=美国本土 bbox(24-50N, 125-66W)近似,不含 AK/HI ③时间=UTC 分钟桶,遍历全天 1440 桶,零值桶不写行
用法:python3 -I aggregate_airborne_tiny.py <traces/00 分片目录>(-I=隔离模式,不沾本机环境)"""
import csv, gzip, json, os, sys
from collections import defaultdict
from datetime import datetime, timezone
LAT_MIN, LAT_MAX, LON_MIN, LON_MAX = 24.0, 50.0, -125.0, -66.0 # 口径②:美国本土 bbox
minute_icaos = defaultdict(set) # 口径③:UTC 分钟桶 -> 该分钟在飞的 icao 集合(集合即去重)
n_files = n_airborne = 0
for name in os.listdir(sys.argv[1]):
if not name.endswith(".json"):
continue
with gzip.open(os.path.join(sys.argv[1], name), "rt", errors="replace") as f:
try:
d = json.load(f)
except Exception:
continue # 单文件损坏不拖垮全局(全量两日实跑零失败,仍留保险)
n_files += 1
icao, base = d.get("icao", "?"), d.get("timestamp", 0) # 文件头时间戳=当日 00:00Z 基准
for p in d.get("trace", []):
if len(p) < 4:
continue
elapsed, lat, lon, alt = p[0], p[1], p[2], p[3]
# —— 清洗:剔地面点(alt="ground")+空值,再过美国 bbox,只留本土空中点 ——
if alt == "ground" or alt is None or lat is None or lon is None:
continue
if not (LAT_MIN <= lat <= LAT_MAX and LON_MIN <= lon <= LON_MAX):
continue
n_airborne += 1
# —— 聚合:绝对时刻=文件头基准+点内偏移秒,折进 UTC 分钟桶 ——
minute_icaos[int((base + elapsed) // 60)].add(icao)
base_minute = min(minute_icaos) - (min(minute_icaos) % 1440) # 教学版从数据反推;全量版按当日 00:00Z 锚定
w = csv.writer(open("airborne-shard.csv", "w", newline=""))
w.writerow(["minute_epoch", "minute_utc", "airborne_count"])
for m in range(base_minute, base_minute + 1440): # 全天 1440 桶,零值桶不写行(下行 if c:)
c = len(minute_icaos.get(m, ()))
if c:
w.writerow([m * 60, datetime.fromtimestamp(m * 60, timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), c])
print(f"{n_files} files, {n_airborne} us-airborne points -> airborne-shard.csv")
00 分片试跑:308 个文件、202,398 个美国空中点,不到一秒出 1,404 个非零分钟桶。全量版同一逻辑加多进程跑满 256 分片:11-13 解析 69,327 个文件零失败、96,776,414 个点(美国空中 44,427,854),11-14 再解 64,383 个,两日 1,440 个分钟桶全覆盖。全量版(多进程、按日输出 airborne-2026-11-13.csv)和锚点 JSON 一起随文附,主图读的就是它们。
6. 绘制:让锚点站上曲线
聚合产物是三列 CSV:分钟、UTC 时刻、架次。画图用 ECharts:折线是本体,markLine 把通告时刻钉成锚点竖线,markArea 给下令到解除涂一层事件窗阴影。竖线落图,第 2 节押的第一道题有了答案——转折是否「应声对齐」,一眼可见。
横轴全 UTC,美东只在文字里换算——两个时区混一张图,表永远对不上。
// 代码④:ECharts 主图(需 ECharts 5)
// 跑法:贴进一个含 <div id="chart"> 的页面,与 echarts.min.js、两份 CSV 放同目录,
// python3 -m http.server 起个本地服务再访问——直接双击 HTML 会走 file://,fetch 被 CORS 拦。
const read = async f => (await fetch(f)).text().trim().split("\n").slice(1)
.map(l => { const [_, utc, n] = l.split(","); return [utc.replace("Z", ""), +n]; });
const data = [...await read("airborne-2026-11-13.csv"),
...await read("airborne-2026-11-14.csv")];
const T = (h, m, d = 13) => `2026-11-${d}T${h}:${m}`;
const anchors = [
{ xAxis: T("20", "54"), name: "ADVZY 111 下令" },
{ xAxis: T("21", "20"), name: "116 空中等待" },
{ xAxis: T("22", "46"), name: "120 延续" },
{ xAxis: T("01", "19", 14), name: "005 解除" },
];
echarts.init(document.getElementById("chart")).setOption({
xAxis: { type: "time", axisLabel: { formatter: "{HH}:{mm}Z" } }, // 全 UTC
yAxis: { name: "在飞架次" },
series: [{
type: "line", showSymbol: false, data,
markLine: { symbol: "none", data: anchors, label: { position: "insideEndTop" },
lineStyle: { color: "#c0392b" } }, // 锚点竖线
markArea: { silent: true, itemStyle: { color: "rgba(120,120,120,0.12)" },
data: [[{ xAxis: T("20", "54") }, { xAxis: T("01", "19", 14) }]] }, // 事件窗
}],
tooltip: { trigger: "axis" },
});
7. 对答案:三重验证逐条过
三道题挨个对。
时刻级,过。 20:00–20:30Z 曲线趴在 6,880–6,900 平台——正常周五午后;20:35–40 开始滑落(20:39 读 6,746,20:42 读 6,607),正对 107/109 后通信恶化的级联段——转折不是凭空出现在 20:54。20:54 全国令,读数 5,861,此后匀速直落,均 −27 架/分;21:20 空中等待令,4,557;22:46 延续令,1,817;跨日接缝 23:59→00:00 从 958 滑到 901,平滑无跳变——两份独立 dump 咬合得上,严格完整性对账是另一门功课,点到为止。01:19 解除令,读数 545。解除不等于回升:曲线又惯性下探 12 分钟,01:31 触到真实谷底 505(02:00 整点读数 578)。逐分钟桶对分钟级通告,偏差都在容差内——接收和采样有延迟。
量级级,过。 5,861 对媒体 3,500:我数的是天上所有航空器(含小飞机、TIS-B),媒体数的是航班班次;判据只押「都是几千架量级」,不押对数。谷底后 04–05Z 是美东深夜放行波峰 1,567、1,528;11-14 20:00Z 读 5,731,约为基线 82%——与周六再取消 5,200+ 班对得上:恢复是拖尾的。
形态级,过。 缓降不归零:谷底仍有 505 架在天上——深夜常态本就有几百架在飞,这层底先扣掉;剩下的正是 116 号空中等待令:地面停了,天上没停。爬坡慢于下跌:01:19 到 04:00 均加回 6.3 架/分(合计 +1,022),只有下跌速度的四分之一——机位机组要消化,快不了。
背景数字顺带:周五约 6,700 班取消+8,600 班延误(FlightAware 口径)、7,000+(ABC 口径)、合计 9,000+(合计口径)——三口径并存只作背景,判据只用 3,500 在飞一项。
回头看第 6 节主图:四条竖线、一片阴影、一条深谷——曲线和通告链讲同一个故事。
8. 切面:机场层再切一刀
全国曲线抹平了细节,恢复次序得下钻。ORD 奥黑尔是首发——20:21 第一条通告就是它;JFK/EWR/LGA 扛住了备降和机位打满;SFO 有意思,当地 15:00 就先放行了太平洋方向——「逐案放行」的指纹。
做法还是那条管道:全国 bbox 换成机场邻域各跑一条分钟曲线,ECharts 用 grid 拼小多图(第 5 节那段循环换个 bbox,不展开)。进阶可玩 deck.gl tripsLayer 点云动画。
看图先答一个必然的疑问:停飞窗内柱子不是绝对零,也不该是——22:46 延续令明写「经协调放行」,加国际逐案与医疗军用豁免,窗内五场合计 76 架真实离场(全是真实爬升形态,无 TIS-B 伪目标);01:19 后才是离场潮。
9. 对照:这不是一次天气停飞
气象圈的读者,这节给你留着。
天气类 ground stop、ground delay 按机场按中心发放,跟天气过程走——雷暴骤停也只停一片;这次是全国一道令、阶跃到底,原因栏写着 COMMUNICATIONS FAILURE。等 FAA OPSNET 统计出来,按分类规则大概率记在「设备」类,不记「天气」。官方原因:交通部长解释为割接作业中过载的路由器冲击老旧通信设备,DHS 称无恶意迹象;结论等官方后续调查报告。顺带辟谣:「NWS 全国雷达中断」是过期静态页的误读,NWS 自己辟的。
对照组选 2026-02-22 东北暴雪(达美代号 Hernando):纽约/波士顿走廊、航司提前 24 小时预取消,周末合计 8,000+ 班取消、当晚 22,000+ 延误。同管道同口径把当天跑一遍,命题成立。
0222 午后峰 6,114(19:12Z)后缓落。同一钟窗对比:18:00→23:59Z,0222 从 5,708 落到 4,671,跌 18%,均 −2.9 架/分——这还含正常夜落;11-13 同窗从 6,972 直落 958,跌 86%,停飞段均 −27 架/分。最陡单分钟也差着量级:0222 全天最陡 −64 架(19:38Z),是采样抖动;11-13 的 −141 架(20:43Z)之后是三小时匀速连跌——不是抖动。形态上 22 日无阶跃、无异常深谷、夜落正常;晨间 12:00Z 两日读 1,219 与 959,只并列,不归因。
区域性(预取消摊进全天)对全国阶跃(一道令一竿子到底),双图并排一眼可辨——第 6 节的跨夜深谷,暴雪日给不出来。
补一句历史坐标:2023-01 NOTAM 故障约 90 分钟、1,300+ 班取消——但它在 globe_history 起档日(2026-01-10)之前,想跑也无米下锅。
10. 这条链还能复盘什么
五环到这里收拢。跑通一次,换数据不换方法——「开放轨迹+官方通告」是通用复盘模式,火山灰通告、重大天气的 GS/GDP 链照样跑。跟着这个系列读过气象数据的读者直接搬回去,接口现成。
下一道考题押在这:按官方节奏,OPSNET 的 11 月统计 12 月 20 日开放、ASPM 滞后约两个月,届时拉设备类延误做第三方核验,出不出续篇数据说话。
许可上:adsb.lol 是 ODbL 1.0(开放数据库许可)——衍生数据集(如本篇分钟级序列)随文发布要同许可共享、注明来源,本篇照办。
文末
YaoJaro · 独立开发者
觉得这条链有用的,欢迎在掘金关注我,下一条考题继续。
数据与来源:adsb.lol globe_history(ODbL 1.0,衍生数据同许可共享,全量脚本与锚点 JSON 随文附(按日 CSV 跑脚本即得));FAA ATCSCC 通告 ADVZY 106/107/109/111/116/120/005(fly.faa.gov,锚点 JSON 随文附);媒体口径:ABC、NBC(在飞约 3,500 架)、FlightAware 经 AP 转述、USA Today/Wikipedia(合计口径);OpenSky 仅选型讨论未取数(Schäfer et al. 2014,CC BY-SA 4.0);如涉地图底图:MapLibre+OpenStreetMap(© OpenStreetMap contributors,ODbL)。
附:随文附件
锚点 JSON(代码①的输出,七条通告锚点——通告库 15 天窗口关闭后,靠它仍能复现锚点):
[
{
"advn": "106",
"facility": "ORD/ZAU",
"title": "ORD AIRPORT ARRIVAL DELAYS",
"issued": "11/13/26 20:21",
"effective": "132021-140030"
},
{
"advn": "107",
"facility": "ORD/ZAU",
"title": "CDM GROUND STOP",
"issued": "11/13/26 20:28",
"effective": "132027-132230"
},
{
"advn": "109",
"facility": "MDW/ZAU",
"title": "CDM GROUND STOP",
"issued": "11/13/26 20:31",
"effective": "132030-132230"
},
{
"advn": "111",
"facility": "DCC",
"title": "NATIONAL GROUND STOP",
"issued": "11/13/26 20:54",
"effective": "132054-140430"
},
{
"advn": "116",
"facility": "ALL/DCC",
"title": "NATION WIDE AIRBORNE HOLDING",
"issued": "11/13/26 21:20",
"effective": "132120-140330"
},
{
"advn": "120",
"facility": "DCC",
"title": "NATIONWIDE GROUND STOP",
"issued": "11/13/26 22:46",
"effective": "132246-140430"
},
{
"advn": "005",
"facility": "DCC",
"title": "CNX NATIONWIDE GROUND STOP",
"issued": "11/14/26 01:19",
"effective": "140119-140200"
}
]
全量聚合脚本(正文代码③教学版的多进程全量版,256 分片并行、按日输出 airborne-YYYY-MM-DD.csv):
#!/usr/bin/env python3
"""readsb traces → 全国逐分钟在飞架次序列(正文代码③教学版的多进程全量版)。
口径(正文「指标口径三选择」对应):
- 「在飞架次」= 该分钟内至少出现 1 个空中点(alt_baro != "ground")的去重航空器数(icao 计,含 TIS-B ~ 前缀)
- 空域 = 美国本土 bbox(24–50N, 125–66W)近似,不含阿拉斯加/夏威夷(ADVZY 明示两州州内未受影响,纳入反而稀释信号)
- 时间 = UTC,分钟桶自日起点对齐
用法:python3 -I aggregate_airborne.py <traces_dir> <out_csv> <out_stats_json>
"""
import csv, gzip, json, os, sys
from collections import defaultdict
from multiprocessing import Pool
LAT_MIN, LAT_MAX = 24.0, 50.0
LON_MIN, LON_MAX = -125.0, -66.0
def parse_shard(shard_dir):
minute_icaos = defaultdict(set)
stats = {"files": 0, "ok": 0, "tisb_files": 0, "points": 0, "us_airborne_points": 0, "ground_points": 0}
for name in os.listdir(shard_dir):
if not name.endswith(".json"):
continue
stats["files"] += 1
path = os.path.join(shard_dir, name)
try:
with gzip.open(path, "rt", errors="replace") as f:
d = json.load(f)
except Exception:
continue
stats["ok"] += 1
icao = d.get("icao", "?")
if icao.startswith("~"):
stats["tisb_files"] += 1
base = d.get("timestamp", 0)
for p in d.get("trace", []):
stats["points"] += 1
try:
elapsed, lat, lon, alt = p[0], p[1], p[2], p[3]
except (IndexError, TypeError):
continue
if alt == "ground" or alt is None:
stats["ground_points"] += 1
continue
if lat is None or lon is None:
continue
if not (LAT_MIN <= lat <= LAT_MAX and LON_MIN <= lon <= LON_MAX):
continue
stats["us_airborne_points"] += 1
minute = int((base + elapsed) // 60)
minute_icaos[minute].add(icao)
return minute_icaos, stats
def main():
traces_dir, out_csv, out_stats = sys.argv[1], sys.argv[2], sys.argv[3]
shards = sorted(
os.path.join(traces_dir, s)
for s in os.listdir(traces_dir)
if len(s) == 2 and os.path.isdir(os.path.join(traces_dir, s))
)
total = defaultdict(set)
agg = {"files": 0, "ok": 0, "tisb_files": 0, "points": 0, "us_airborne_points": 0, "ground_points": 0}
with Pool(8) as pool:
for minute_icaos, stats in pool.imap_unordered(parse_shard, shards):
for m, icaos in minute_icaos.items():
total[m] |= icaos
for k in agg:
agg[k] += stats[k]
if not total:
sys.exit("no data parsed")
base_minute = min(total) - (min(total) % 1440)
with open(out_csv, "w", newline="") as f:
w = csv.writer(f)
w.writerow(["minute_epoch", "minute_utc", "airborne_count"])
for m in range(base_minute, base_minute + 1440):
c = len(total.get(m, ()))
import datetime
w.writerow([m * 60, datetime.datetime.fromtimestamp(m * 60, datetime.timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), c])
agg["minutes_with_data"] = len(total)
with open(out_stats, "w") as f:
json.dump(agg, f, indent=1)
print("done", out_csv, agg)
if __name__ == "__main__":
main()