二〇二二年秋天,我给一个机加工车间接了七十三台设备的振动和温度采集。采样间隔五秒,一台设备八个点位,算下来一天一千万行出头。半年之后,数据库所在的那块盘报警,我拉了一下表大小:四点一亿行,一百九十多G。功能一个没坏,但备份窗口从四十分钟涨到三个半小时,一个按月统计的查询要等四十秒。
车间主任问我一句话:这些数你打算留多久。我当时答不上来。留三年,盘不够;留三个月,去年那次主轴抱死的追溯就没了依据。这个问题不是加硬盘能回答的,得先想清楚每一层数据到底为谁留着。
这篇写我们后来定下的分层办法:原始值短期留、聚合值长期留、事件单独留,以及为什么清理这件事不能靠一条 DELETE 语句。
一、现象:数据比硬盘长得快
1.1 一个点位的账
五秒一个点,一个点位一天一万七千二百八十条。八个点位乘七十三台,一天一千万条出头,一个月三亿。这个量级放在互联网公司不算什么,放在车间机房的一台普通服务器上就是灾难。
我们起初没在意,因为写入一直很顺。采集程序是本地写的,批量插,五百条一批,一个批次几十毫秒。真正出问题的是查询和备份:备份窗口一路涨,早上六点的备份经常和早班开机撞上,磁盘队列拉满,采集开始丢批。
1.2 报警看得见,追溯看不见
报警只用到近十分钟的数据,这一点大家有共识。所以采集侧做得很细:超阈值立即入库、推送、记日志,一条链路没人质疑。
可报警之外还有一类需求,平时不吭声,一出现就要往前翻很久。前年一台加工中心主轴抱死,维修班想知道抱死前四十分钟的电流和温度怎么走,判断是润滑不足还是负载异常。这类追溯一年七八次,每次都要精确到秒。删数据的人往往只想着报警,忘了这一类。
1.3 两种极端反应
盘一紧,团队里通常出现两种反应。一种是"都留着",加盘,问题推到明年;另一种是"留三十天",写个定时任务一刀切,省事。
前一种我见过两次,都是加到第四个盘位之后停手,因为机箱没位置了。后一种更麻烦:真出事那天,翻出来的数据刚好比故障时间晚两天。两种做法都跳过了同一个问题——这层数据是为哪一类问题留的。
二、原因:原始值和聚合值回答的不是同一个问题
2.1 原始值回答"那一刻"
原始值的作用是还原现场。它要能支持"三点十七分二十秒,这台机的振动有效值是多少"这种问法。这种问法只有原始值能答,聚合值答不了,因为聚合把秒级的东西抹平了。
但它被问到的频率很低,一年七八次,集中在故障复盘和质量争议。为这么低的频率保留三年全量,成本明显不成比例。
2.2 聚合值回答"那一段"
聚合值回答的是趋势。"这个月三号线的振动均值比上个月高多少""这台机每天下午两点的温度是不是都在往上走"。这类问题一天被问十几次,做月度分析、能耗对比、班次比较,都要用。
聚合之后行数掉得厉害。一分钟粒度,一个点位一天一千四百四十行,是原始值的十二分之一。这个比例决定了它可以从容地留两年。
2.3 压缩比的实测账
我们实测过三档。原始值压缩比大约三比一,时序数据相邻值接近,列存压缩效果好。一分钟聚合值行数少但每行字段多,压缩比接近一比一。小时聚合再上一层,一个点位一天二十四行。
按这个账算,七十三台设备、八个点位:原始值留三十天约六千万行,一分钟聚合留两年约五亿行但单行小,小时聚合留五年不到三千万行。三层加起来占的空间,比原来"原始值全留半年"还少一点。
这个账建议自己算一遍,别照抄别人的天数。设备数、点位密度、采样间隔三个数一变,结论全变。我见过同行按"三十天原始、两年聚合"的模板套到只有十二台设备的产线上,结果原始层只占了一小块,反倒是聚合层的索引撑大了备份。
三、做法:三层存储,一条清理链
3.1 三层怎么切
我们的切法是按"问题的时间尺度"切,不是按数据量切。原始值三十天,覆盖故障复盘和争议取证;一分钟聚合两年,覆盖月度分析和年度对比;小时聚合五年,覆盖设备寿命周期的趋势。
还有一层是事件表,停机、换模、报警、维修工单,这些不进时序表,单独一张,长期保留。理由在第四节讲。
这三层的比例也要盯。我们的实际占用是原始层七成、聚合层两成半、事件表不到半成。这个分布说明钱主要花在三十天的原始值上,所以采样间隔和点位密度的调整,比聚合层怎么存更值得花时间。
3.2 建表与滚动
建表用 PostgreSQL 的原生分区,按天切。分区的好处是清理变成 DROP,不产生大量死元组,也不锁大表。
-- 原始层:一天一个分区
CREATE TABLE sensor_raw (
dev_id int NOT NULL,
tag text NOT NULL,
ts timestamptz NOT NULL,
val numeric(12,4),
quality smallint NOT NULL DEFAULT 0
) PARTITION BY RANGE (ts);
CREATE TABLE sensor_raw_20261021 PARTITION OF sensor_raw
FOR VALUES FROM ('2026-10-21') TO ('2026-10-22');
-- 聚合层:一分钟一桶
CREATE TABLE sensor_1m (
dev_id int NOT NULL,
tag text NOT NULL,
bucket timestamptz NOT NULL,
v_avg numeric(12,4),
v_lo numeric(12,4),
v_hi numeric(12,4),
n int NOT NULL,
PRIMARY KEY (dev_id, tag, bucket)
) PARTITION BY RANGE (bucket);
-- 每小时把上一小时的原始值卷进聚合层
INSERT INTO sensor_1m (dev_id, tag, bucket, v_avg, v_lo, v_hi, n)
SELECT dev_id, tag,
date_trunc('minute', ts) AS bucket,
round(avg(val), 4), min(val), max(val), count(*)
FROM sensor_raw
WHERE ts >= $1 AND ts < $2
AND quality = 0
GROUP BY 1, 2, 3
ON CONFLICT (dev_id, tag, bucket) DO NOTHING;
-- 滚动:先建明天,再删三十天前
CREATE TABLE IF NOT EXISTS sensor_raw_20261022 PARTITION OF sensor_raw
FOR VALUES FROM ('2026-10-22') TO ('2026-10-23');
DROP TABLE IF EXISTS sensor_raw_20261021;
三个细节值得说。一是 ON CONFLICT DO NOTHING,让补跑不重复计数;二是聚合只取 quality = 0 的点,坏点不进均值,否则一台设备通信中断时的零值会把日曲线拉平;三是建分区和删分区放在同一个任务里,先建后删。
补跑也有边界。有一次采集网关断电六个小时,恢复后按小时窗口重算,六个桶全是空的,脚本跑完就补上了。但如果停机超过三十天,对应分区已经被 DROP,聚合层就补不回来,只能从备份里捞原始值再算一遍。所以我在补跑脚本里加了一道检查:目标时间窗的分区是否存在,不存在就直接报警,不要静默跳过。
3.3 清理用分区,不用 DELETE
一开始我们写的是 DELETE FROM sensor_raw WHERE ts < now() - interval '30 days'。跑了两周就出问题:一次删掉四百万行,WAL 暴涨,备份直接被撑爆,还留下大量死元组,autovacuum 追了两天。
换成 DROP PARTITION 之后,一次清理是毫秒级,代价只是元数据。这也倒逼我们把"按天分区"当成硬约束:采集程序写数据前必须确认当天分区存在,否则插入报错。报错比静默丢数据好。
四、边界:有些数据不在这套规则里
4.1 事件和时序要分开
时序表适合存"连续变化的数值",不适合存"发生了什么"。一次停机是事件,它有时间点、有原因码、有处理人、有影响工单。把这些塞进时序表会变成一堆质量位,谁也读不出来。
我们单独建了设备事件表,字段不多:设备、开始、结束、类型、原因、关联工单。这张表数据量小,十年也就几十万行,全留没有压力,而且它是聚合值解释不了的那部分。
4.2 质量位比数值更该留
清理原始值时容易一刀切全删。我们后来留了一条规则:任何一个点位当天出现过质量位非零,那一段的原始值延期三十天。原因很简单,坏点往往和故障同时出现,恰好是需要看的那一段。这条规则让实际保留量多了不到百分之三。
4.3 三年后谁会来要数据
定保留期的时候,我列了一张"谁会来要"的清单。质量部要一年内的原始曲线做客户投诉答辩;设备部要两年内的聚合值做备件计划;财务要五年的能耗汇总做成本分摊。三类需求,三个时间尺度,正好对上三层。
清单上还有一类没写进去:管理者偶尔问"去年这个时候这台机怎么样"。这种问题不需要秒级,聚合值就够,回答慢一点没关系。
清单是这套策略的锚。没有清单,任何天数都是拍的。
常见问题
问:采样间隔能不能直接放宽,省掉分层?
答:能,但要看你为哪类问题留数据。把五秒改成三十秒,行数掉到六分之一,代价是故障复盘时看不到尖峰。振动这类信号,尖峰往往只持续几秒。我们的做法是关键点位保持五秒,辅助点位放到三十秒,分层按点位配,不按整表配。
问:聚合值会不会掩盖异常?
答:会,所以要带极值。只存均值的一分钟聚合,一次三秒的冲击会被抹平。我们存三个值:均值、下限、上限,配合计数。看曲线时先看上下限的差,差突然变大就回去翻原始值。
问:分区表建的时候要注意什么?
答:注意主键必须包含分区键,否则建不出来。时间戳精度要和写入一致,我们踩过一次,采集侧写毫秒,分区边界按天,跨零点的那几百条落在不存在的分区里,插入失败被采集程序吞掉。后来加了分区存在性检查,缺分区就自动建。
问:数据清理要不要留审计记录?
答:要。每次 DROP 之前往一张清理日志里写一行:删了哪个分区、多少行、执行人、耗时。这张日志本身很小,但出问题时能说清楚"数据是正常到期删的,不是丢了"。我们有过一次误会,业务方以为数据丢了,翻日志才确认是按策略清理。