拿全美停飞当考题:ADS-B 采集、清洗、聚合、绘制、核验全链实战

0 阅读14分钟

00-能力链鸟瞰.png

1. 考题登场

你大概率刷到过那条推送:11 月 13 日,美东周五下午 3 点 54 分,FAA 下令全美机场停止起飞,4 小时 25 分钟后解除。下令时空中约 3,500 架航班(ABC/NBC 口径),媒体称它「9·11 以来最长」、史上第三次全国性停飞。

推送给了数字和地图截图,然后呢?没人用全流程的处理来演示如何把这条曲线跑出来。

这篇就干这件事。主角不是事件,是能力链:采集、清洗、聚合、绘制、核验从零搭一遍,教材用 ADS-B 数据。ADS-B(Automatic Dependent Surveillance–Broadcast,广播式自动相关监视)是什么?飞机差不多每秒广播一次位置和高度,呼号这类身份信息隔一阵播一次,地面网收起来就是一串串轨迹。

为什么拿它当考题?信号强——停飞前后空域差异悬殊,跑对了曲线一眼可见,跑错了藏不住。

2. 先押题,再动手

先别写代码,先押答案——对不上就回去查管道。

押三道题:

  • 时刻级:下跌起点对上全国令 20:54Z,爬坡起点对上解除令 01:19Z(Z 即 UTC,美东减五)。

  • 量级级:下令时读数与媒体「约 3,500 架」同数量级。

  • 形态级:停飞不清空天空——空中航班陆续落地、无新起飞,曲线缓降不归零;解除后放行要协调,爬坡比下跌慢。

锚点从哪来?FAA 的 ATCSCC 通告库——空中交通管制系统指挥中心,通告带 ADVZY 编号。11-13 到 11-14 这条链:20:21 的 106 号(奥黑尔进场延误)、20:28 的 107 号(奥黑尔地面停止)、20:31 的 109 号(中途机场)、20:54 的 111 号全国停飞令,原文白纸黑字:

EVENT TIME: 13/2053 - 14/0400 DUE TO EXTRAORDINARY CIRCUMSTANCES AND FOR REASONS OF SAFETY … ALL AIRPORTS ARE GROUND STOPPED … UNTIL FURTHER NOTICE. INBOUND INTERNATIONAL FLIGHTS WILL BE MANAGED ON A CASE BY CASE BASIS. EFFECTIVE TIME: 132054-140430

往后 21:20 的 116 号空中等待、22:46 的 120 号延续令(原因栏:COMMUNICATIONS FAILURE),收尾在 11-14 01:19 的 005 号解除令(EFFECTIVE TIME: 140119-140200)。

通告库独立于 ADS-B,是现成的第二源——上一篇数据管道教程里用第二个归档源对账主源的思路,搬过来证明轨迹管道没跑偏。

通告库只开 15 天滚动窗口,自己拉,十几行 Python 零依赖:


# 代码①:通告链抓取

import re, json, urllib.request as u

from datetime import datetime

BASE = "https://www.fly.faa.gov/adv"

CHAIN = {"2026-11-13": [106, 107, 109, 111, 116, 120], "2026-11-14": [5]} # 六连发+次日解除令

get = lambda url: u.urlopen(u.Request(url, headers={"User-Agent": "Mozilla/5.0"}), timeout=30).read().decode("iso-8859-1")

ROW = re.compile(r'advn=(\d+)">(\d+)</a>\s*</td>\s*<td>([^<]+)</td>\s*<td>[^<]+</td>\s*<td>([^<]+)</td>\s*<td>([^<]+)</td>', re.S)

EFF = re.compile(r'EFFECTIVE TIME:.nbsp;</P>\s*</TD>\s*<TD class=val>([^<]+)', re.S) # .nbsp;=页面实体转义形态,. 做通配

anchors = []

for date, nums in CHAIN.items():

mmdd = datetime.strptime(date, "%Y-%m-%d").strftime("%m%d%Y") # 坑:adv_date 是 MMDDYYYY,不是 YYYYMMDD

lst = get(f"{BASE}/adv_list?whichAdvisories=ATCSCC&advisoryCategory=All&date={date}")

for advn, disp, fac, title, issued in ROW.findall(lst):

if int(advn) in nums:

page = get(f"{BASE}/adv_otherdis?adv_date={mmdd}&advn={advn}")

anchors.append({"advn": disp, "facility": fac, "title": title, "issued": issued,

"effective": EFF.search(page).group(1).strip()}) # EFF 打不中会抛错——页面改版时你会立刻知道,好过静默出错

anchors.sort(key=lambda a: a["issued"])

json.dump(anchors, open("anchors.json", "w"), indent=1, ensure_ascii=False)

print(len(anchors), "anchors -> anchors.json")

11 月 15 日实跑:打印 7 anchors -> anchors.json,111 号 issued 11/13/26 20:54、effective 132054-140430。窗口关了也不怕,文末附固化 anchors.json。

01-通告链时间轴.png

3. 数据源怎么选

全量数据源只有一家能当天免门槛拿下,候选就是这张表:

数据源覆盖 11-13?门槛许可判定
adsb.lol globe_history当日档已发布免注册直接下ODbL 1.0(开放数据库许可,第 10 节细说)主路径
FAA ATCSCC 通告库15 天窗口免注册.gov 公开锚点源
OpenSky REST认证也只回溯 1 小时注册CC BY-SA查不了历史
OpenSky Trino2013 至今全量要申请,可能被拒CC BY-SA进阶选读
FR24 / FlightAware有付费商业条款不采用

两个认知点先说破。一,老教程还在教「OpenSky 带 time 参数查历史」——它回溯窗口只剩一小时,取不到 11-13,别被带偏。二,adsb.lol 是眼下唯一免申请、当日可得的全量轨迹源,代价是文件大(单日 3.5 GB 上下)、格式自己解析,留到第 5 节。

归档深度顺带:globe_history 从 2026-01-10 起档,更早没有——第 9 节选对照日的硬约束。

4. 采集:6.5 GB 到手

主路径定了:adsb.lol 每日 dump 在 GitHub Releases,按 readsb 轨迹格式打包——readsb,社区最常用的开源解码器。事发日 11-13 和恢复日 11-14 都得下,各跑一遍,四件分卷合计 6.48 GB。

实战一句:本机到 github.com 间歇断流,走 gh-proxy.com 镜像中转才拉完。通道不用纠结,完整性靠验签兜底:官方 sha256 在 Release 页 digest 字段(或 GitHub API assets 列表)查得到,下完逐一比对,不过就重下。镜像只是下载通道,验签才算数。


# 代码②:分卷下载+验签

TAG=v2026.11.13-planes-readsb-prod-0

MIRROR="https://gh-proxy.com/https://github.com/adsblol/globe_history/releases/download"

for part in aa ab; do

curl -L -C - -o "$TAG.tar.$part" "$MIRROR/$TAG/$TAG.tar.$part" # 直连被断就走镜像,-C - 断点续传

done

shasum -a 256 "$TAG".tar.* # 与 GitHub Release 官方 digest 逐一比对,不过就重下;Linux 用 sha256sum

cat "$TAG.tar.aa" "$TAG.tar.ab" | tar -xf - # 分卷按名序拼接后解压

# 11-14 同法:TAG 换 v2026.11.14-… 再跑一遍

解压出来 traces/ 是要用的,heatmap/ 点云用不上。

5. 清洗聚合:从一亿个点到一条曲线

解压完先看结构:traces/ 按 ICAO 24 位地址(六位十六进制)前两位切成 256 个分片目录,每机一个 gzip JSON:文件头是 icao 和 timestamp(当日 00:00Z 基准秒),trace 数组每个点是「偏移秒、纬度、经度、高度……」,高度空中是英尺数、地面是字符串 "ground"。

处理链四步:剔地面点、滤空值、过美国 bbox(经纬度圈出的矩形,取 24–50N、125–66W 本土框)、按分钟折桶。icao 带 ~ 前缀的是 TIS-B——地面站替没装 ADS-B 的旧飞机转发的广播,事发日 6,302 架次,全量口径保留。但伪地址跟同机真实 icao 可能重复计数、会话间变址——口径只保量级判定,不保精确架次。

比这更要紧的是口径。「全国空中在飞架次」数什么?该分钟内至少一个空中点的去重航空器数。三条:按航空器全量而非航班(媒体的 3,500 是航班口径,对数只比数量级);bbox 近似而非官方领空(通告明示阿拉斯加、夏威夷州内未受影响,框进来稀释信号);时间全 UTC 分钟桶——这三条立住,第 7 节量级判定才有底。

教学版四十行:


# 代码③:单分片清洗聚合(教学版)

"""单分片 readsb traces -> 逐分钟在飞架次(教学版,全量版同口径加多进程)。

口径三条:①在飞架次=该分钟至少 1 个空中点(alt_baro != "ground")的去重航空器数(icao 计,含 ~ 前缀 TIS-B)

②空域=美国本土 bbox(24-50N, 125-66W)近似,不含 AK/HI ③时间=UTC 分钟桶,遍历全天 1440 桶,零值桶不写行

用法:python3 -I aggregate_airborne_tiny.py <traces/00 分片目录>(-I=隔离模式,不沾本机环境)"""

import csv, gzip, json, os, sys

from collections import defaultdict

from datetime import datetime, timezone

  


LAT_MIN, LAT_MAX, LON_MIN, LON_MAX = 24.0, 50.0, -125.0, -66.0 # 口径②:美国本土 bbox

  


minute_icaos = defaultdict(set) # 口径③:UTC 分钟桶 -> 该分钟在飞的 icao 集合(集合即去重)

n_files = n_airborne = 0

for name in os.listdir(sys.argv[1]):

if not name.endswith(".json"):

continue

with gzip.open(os.path.join(sys.argv[1], name), "rt", errors="replace") as f:

try:

d = json.load(f)

except Exception:

continue # 单文件损坏不拖垮全局(全量两日实跑零失败,仍留保险)

n_files += 1

icao, base = d.get("icao", "?"), d.get("timestamp", 0) # 文件头时间戳=当日 00:00Z 基准

for p in d.get("trace", []):

if len(p) < 4:

continue

elapsed, lat, lon, alt = p[0], p[1], p[2], p[3]

# —— 清洗:剔地面点(alt="ground")+空值,再过美国 bbox,只留本土空中点 ——

if alt == "ground" or alt is None or lat is None or lon is None:

continue

if not (LAT_MIN <= lat <= LAT_MAX and LON_MIN <= lon <= LON_MAX):

continue

n_airborne += 1

# —— 聚合:绝对时刻=文件头基准+点内偏移秒,折进 UTC 分钟桶 ——

minute_icaos[int((base + elapsed) // 60)].add(icao)

  


base_minute = min(minute_icaos) - (min(minute_icaos) % 1440) # 教学版从数据反推;全量版按当日 00:00Z 锚定

w = csv.writer(open("airborne-shard.csv", "w", newline=""))

w.writerow(["minute_epoch", "minute_utc", "airborne_count"])

for m in range(base_minute, base_minute + 1440): # 全天 1440 桶,零值桶不写行(下行 if c:)

c = len(minute_icaos.get(m, ()))

if c:

w.writerow([m * 60, datetime.fromtimestamp(m * 60, timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), c])

print(f"{n_files} files, {n_airborne} us-airborne points -> airborne-shard.csv")

00 分片试跑:308 个文件、202,398 个美国空中点,不到一秒出 1,404 个非零分钟桶。全量版同一逻辑加多进程跑满 256 分片:11-13 解析 69,327 个文件零失败、96,776,414 个点(美国空中 44,427,854),11-14 再解 64,383 个,两日 1,440 个分钟桶全覆盖。全量版(多进程、按日输出 airborne-2026-11-13.csv)和锚点 JSON 一起随文附,主图读的就是它们。

03-清洗管道流程图.png

6. 绘制:让锚点站上曲线

聚合产物是三列 CSV:分钟、UTC 时刻、架次。画图用 ECharts:折线是本体,markLine 把通告时刻钉成锚点竖线,markArea 给下令到解除涂一层事件窗阴影。竖线落图,第 2 节押的第一道题有了答案——转折是否「应声对齐」,一眼可见。

横轴全 UTC,美东只在文字里换算——两个时区混一张图,表永远对不上。


// 代码④:ECharts 主图(需 ECharts 5)

// 跑法:贴进一个含 <div id="chart"> 的页面,与 echarts.min.js、两份 CSV 放同目录,

// python3 -m http.server 起个本地服务再访问——直接双击 HTML 会走 file://,fetch 被 CORS 拦。

const read = async f => (await fetch(f)).text().trim().split("\n").slice(1)

.map(l => { const [_, utc, n] = l.split(","); return [utc.replace("Z", ""), +n]; });

const data = [...await read("airborne-2026-11-13.csv"),

...await read("airborne-2026-11-14.csv")];

const T = (h, m, d = 13) => `2026-11-${d}T${h}:${m}`;

const anchors = [

{ xAxis: T("20", "54"), name: "ADVZY 111 下令" },

{ xAxis: T("21", "20"), name: "116 空中等待" },

{ xAxis: T("22", "46"), name: "120 延续" },

{ xAxis: T("01", "19", 14), name: "005 解除" },

];

echarts.init(document.getElementById("chart")).setOption({

xAxis: { type: "time", axisLabel: { formatter: "{HH}:{mm}Z" } }, // 全 UTC

yAxis: { name: "在飞架次" },

series: [{

type: "line", showSymbol: false, data,

markLine: { symbol: "none", data: anchors, label: { position: "insideEndTop" },

lineStyle: { color: "#c0392b" } }, // 锚点竖线

markArea: { silent: true, itemStyle: { color: "rgba(120,120,120,0.12)" },

data: [[{ xAxis: T("20", "54") }, { xAxis: T("01", "19", 14) }]] }, // 事件窗

}],

tooltip: { trigger: "axis" },

});

04-主图.png

7. 对答案:三重验证逐条过

三道题挨个对。

时刻级,过。 20:00–20:30Z 曲线趴在 6,880–6,900 平台——正常周五午后;20:35–40 开始滑落(20:39 读 6,746,20:42 读 6,607),正对 107/109 后通信恶化的级联段——转折不是凭空出现在 20:54。20:54 全国令,读数 5,861,此后匀速直落,均 −27 架/分;21:20 空中等待令,4,557;22:46 延续令,1,817;跨日接缝 23:59→00:00 从 958 滑到 901,平滑无跳变——两份独立 dump 咬合得上,严格完整性对账是另一门功课,点到为止。01:19 解除令,读数 545。解除不等于回升:曲线又惯性下探 12 分钟,01:31 触到真实谷底 505(02:00 整点读数 578)。逐分钟桶对分钟级通告,偏差都在容差内——接收和采样有延迟。

量级级,过。 5,861 对媒体 3,500:我数的是天上所有航空器(含小飞机、TIS-B),媒体数的是航班班次;判据只押「都是几千架量级」,不押对数。谷底后 04–05Z 是美东深夜放行波峰 1,567、1,528;11-14 20:00Z 读 5,731,约为基线 82%——与周六再取消 5,200+ 班对得上:恢复是拖尾的。

形态级,过。 缓降不归零:谷底仍有 505 架在天上——深夜常态本就有几百架在飞,这层底先扣掉;剩下的正是 116 号空中等待令:地面停了,天上没停。爬坡慢于下跌:01:19 到 04:00 均加回 6.3 架/分(合计 +1,022),只有下跌速度的四分之一——机位机组要消化,快不了。

背景数字顺带:周五约 6,700 班取消+8,600 班延误(FlightAware 口径)、7,000+(ABC 口径)、合计 9,000+(合计口径)——三口径并存只作背景,判据只用 3,500 在飞一项。

05-三重验证对答案卡.png

回头看第 6 节主图:四条竖线、一片阴影、一条深谷——曲线和通告链讲同一个故事。

8. 切面:机场层再切一刀

全国曲线抹平了细节,恢复次序得下钻。ORD 奥黑尔是首发——20:21 第一条通告就是它;JFK/EWR/LGA 扛住了备降和机位打满;SFO 有意思,当地 15:00 就先放行了太平洋方向——「逐案放行」的指纹。

做法还是那条管道:全国 bbox 换成机场邻域各跑一条分钟曲线,ECharts 用 grid 拼小多图(第 5 节那段循环换个 bbox,不展开)。进阶可玩 deck.gl tripsLayer 点云动画。

看图先答一个必然的疑问:停飞窗内柱子不是绝对零,也不该是——22:46 延续令明写「经协调放行」,加国际逐案与医疗军用豁免,窗内五场合计 76 架真实离场(全是真实爬升形态,无 TIS-B 伪目标);01:19 后才是离场潮。

06-机场恢复小多图.png

9. 对照:这不是一次天气停飞

气象圈的读者,这节给你留着。

天气类 ground stop、ground delay 按机场按中心发放,跟天气过程走——雷暴骤停也只停一片;这次是全国一道令、阶跃到底,原因栏写着 COMMUNICATIONS FAILURE。等 FAA OPSNET 统计出来,按分类规则大概率记在「设备」类,不记「天气」。官方原因:交通部长解释为割接作业中过载的路由器冲击老旧通信设备,DHS 称无恶意迹象;结论等官方后续调查报告。顺带辟谣:「NWS 全国雷达中断」是过期静态页的误读,NWS 自己辟的。

对照组选 2026-02-22 东北暴雪(达美代号 Hernando):纽约/波士顿走廊、航司提前 24 小时预取消,周末合计 8,000+ 班取消、当晚 22,000+ 延误。同管道同口径把当天跑一遍,命题成立。

0222 午后峰 6,114(19:12Z)后缓落。同一钟窗对比:18:00→23:59Z,0222 从 5,708 落到 4,671,跌 18%,均 −2.9 架/分——这还含正常夜落;11-13 同窗从 6,972 直落 958,跌 86%,停飞段均 −27 架/分。最陡单分钟也差着量级:0222 全天最陡 −64 架(19:38Z),是采样抖动;11-13 的 −141 架(20:43Z)之后是三小时匀速连跌——不是抖动。形态上 22 日无阶跃、无异常深谷、夜落正常;晨间 12:00Z 两日读 1,219 与 959,只并列,不归因。

区域性(预取消摊进全天)对全国阶跃(一道令一竿子到底),双图并排一眼可辨——第 6 节的跨夜深谷,暴雪日给不出来。

补一句历史坐标:2023-01 NOTAM 故障约 90 分钟、1,300+ 班取消——但它在 globe_history 起档日(2026-01-10)之前,想跑也无米下锅。

07-双曲线对照.png

10. 这条链还能复盘什么

五环到这里收拢。跑通一次,换数据不换方法——「开放轨迹+官方通告」是通用复盘模式,火山灰通告、重大天气的 GS/GDP 链照样跑。跟着这个系列读过气象数据的读者直接搬回去,接口现成。

下一道考题押在这:按官方节奏,OPSNET 的 11 月统计 12 月 20 日开放、ASPM 滞后约两个月,届时拉设备类延误做第三方核验,出不出续篇数据说话。

许可上:adsb.lol 是 ODbL 1.0(开放数据库许可)——衍生数据集(如本篇分钟级序列)随文发布要同许可共享、注明来源,本篇照办。

文末

YaoJaro · 独立开发者

觉得这条链有用的,欢迎在掘金关注我,下一条考题继续。

数据与来源:adsb.lol globe_history(ODbL 1.0,衍生数据同许可共享,全量脚本与锚点 JSON 随文附(按日 CSV 跑脚本即得));FAA ATCSCC 通告 ADVZY 106/107/109/111/116/120/005(fly.faa.gov,锚点 JSON 随文附);媒体口径:ABC、NBC(在飞约 3,500 架)、FlightAware 经 AP 转述、USA Today/Wikipedia(合计口径);OpenSky 仅选型讨论未取数(Schäfer et al. 2014,CC BY-SA 4.0);如涉地图底图:MapLibre+OpenStreetMap(© OpenStreetMap contributors,ODbL)。

附:随文附件

锚点 JSON(代码①的输出,七条通告锚点——通告库 15 天窗口关闭后,靠它仍能复现锚点):


[

{

"advn": "106",

"facility": "ORD/ZAU",

"title": "ORD AIRPORT ARRIVAL DELAYS",

"issued": "11/13/26 20:21",

"effective": "132021-140030"

},

{

"advn": "107",

"facility": "ORD/ZAU",

"title": "CDM GROUND STOP",

"issued": "11/13/26 20:28",

"effective": "132027-132230"

},

{

"advn": "109",

"facility": "MDW/ZAU",

"title": "CDM GROUND STOP",

"issued": "11/13/26 20:31",

"effective": "132030-132230"

},

{

"advn": "111",

"facility": "DCC",

"title": "NATIONAL GROUND STOP",

"issued": "11/13/26 20:54",

"effective": "132054-140430"

},

{

"advn": "116",

"facility": "ALL/DCC",

"title": "NATION WIDE AIRBORNE HOLDING",

"issued": "11/13/26 21:20",

"effective": "132120-140330"

},

{

"advn": "120",

"facility": "DCC",

"title": "NATIONWIDE GROUND STOP",

"issued": "11/13/26 22:46",

"effective": "132246-140430"

},

{

"advn": "005",

"facility": "DCC",

"title": "CNX NATIONWIDE GROUND STOP",

"issued": "11/14/26 01:19",

"effective": "140119-140200"

}

]

全量聚合脚本(正文代码③教学版的多进程全量版,256 分片并行、按日输出 airborne-YYYY-MM-DD.csv):


#!/usr/bin/env python3

"""readsb traces → 全国逐分钟在飞架次序列(正文代码③教学版的多进程全量版)。

  


口径(正文「指标口径三选择」对应):

- 「在飞架次」= 该分钟内至少出现 1 个空中点(alt_baro != "ground")的去重航空器数(icao 计,含 TIS-B ~ 前缀)

- 空域 = 美国本土 bbox(24–50N, 125–66W)近似,不含阿拉斯加/夏威夷(ADVZY 明示两州州内未受影响,纳入反而稀释信号)

- 时间 = UTC,分钟桶自日起点对齐

  


用法:python3 -I aggregate_airborne.py <traces_dir> <out_csv> <out_stats_json>

"""

import csv, gzip, json, os, sys

from collections import defaultdict

from multiprocessing import Pool

  


LAT_MIN, LAT_MAX = 24.0, 50.0

LON_MIN, LON_MAX = -125.0, -66.0

  


def parse_shard(shard_dir):

minute_icaos = defaultdict(set)

stats = {"files": 0, "ok": 0, "tisb_files": 0, "points": 0, "us_airborne_points": 0, "ground_points": 0}

for name in os.listdir(shard_dir):

if not name.endswith(".json"):

continue

stats["files"] += 1

path = os.path.join(shard_dir, name)

try:

with gzip.open(path, "rt", errors="replace") as f:

d = json.load(f)

except Exception:

continue

stats["ok"] += 1

icao = d.get("icao", "?")

if icao.startswith("~"):

stats["tisb_files"] += 1

base = d.get("timestamp", 0)

for p in d.get("trace", []):

stats["points"] += 1

try:

elapsed, lat, lon, alt = p[0], p[1], p[2], p[3]

except (IndexError, TypeError):

continue

if alt == "ground" or alt is None:

stats["ground_points"] += 1

continue

if lat is None or lon is None:

continue

if not (LAT_MIN <= lat <= LAT_MAX and LON_MIN <= lon <= LON_MAX):

continue

stats["us_airborne_points"] += 1

minute = int((base + elapsed) // 60)

minute_icaos[minute].add(icao)

return minute_icaos, stats

  


def main():

traces_dir, out_csv, out_stats = sys.argv[1], sys.argv[2], sys.argv[3]

shards = sorted(

os.path.join(traces_dir, s)

for s in os.listdir(traces_dir)

if len(s) == 2 and os.path.isdir(os.path.join(traces_dir, s))

)

total = defaultdict(set)

agg = {"files": 0, "ok": 0, "tisb_files": 0, "points": 0, "us_airborne_points": 0, "ground_points": 0}

with Pool(8) as pool:

for minute_icaos, stats in pool.imap_unordered(parse_shard, shards):

for m, icaos in minute_icaos.items():

total[m] |= icaos

for k in agg:

agg[k] += stats[k]

if not total:

sys.exit("no data parsed")

base_minute = min(total) - (min(total) % 1440)

with open(out_csv, "w", newline="") as f:

w = csv.writer(f)

w.writerow(["minute_epoch", "minute_utc", "airborne_count"])

for m in range(base_minute, base_minute + 1440):

c = len(total.get(m, ()))

import datetime

w.writerow([m * 60, datetime.datetime.fromtimestamp(m * 60, datetime.timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), c])

agg["minutes_with_data"] = len(total)

with open(out_stats, "w") as f:

json.dump(agg, f, indent=1)

print("done", out_csv, agg)

  


if __name__ == "__main__":

main()