时间序列特征,哪些当时就能算出来

0 阅读10分钟

给时序模型造特征,同一列数字换个标签就能从安全变越界。

预测下一小时,t 时刻的读数能用。判定 t 小时是否异常,标签本来就是拿 t 的读数算出来的,再把 t 放进特征,等于把答案掺了进去。

本文把常见特征按「依赖到哪一刻」分一遍:只用过去的滞后与滚动值、枚举出来的组合基线、含当前读数的运行均值,最后汇成一张时间边界审计表。

泄漏不是特征的固有属性,是特征和标签之间的时间关系。

下面用 6 周的共享单车站点模拟数据走一遍:1008 行、每小时一条,客流、气温、降雨三列。

1. 先定义「当时」是什么

要谈「依赖到哪一刻」,先得把「哪一刻」定下来:一行就是一个小时的读数,行标签就是 t。

split = int(len(df) * cfg["训练比例"])
# 前 806 行训练,后 202 行验证,切点 2026-04-03 14:00:00
行数 1008 ;范围 2026-03-01 00:00:00 → 2026-04-11 23:00:00
字段 ['客流', '气温', '降雨'] ;一行 = 一个小时的读数,行标签就是 t
前 3 行:
                        客流   气温   降雨
时间                                  
2026-03-01 00:00:00  115.0  7.2  0.0
2026-03-01 01:00:00   59.0  5.0  9.3
2026-03-01 02:00:00  114.0  6.9  0.0

两种标签口径:
  A 预测 t+1 小时客流 → 特征可以用到 t(含 t)
  B 判定 t 小时是否异常高 → 标签由 t 的读数算出,特征只能用到 t-1
时序切分:前 806 行训练,后 202 行验证;切点 2026-04-03 14:00:00

比切分更先要定的是标签口径,因为「安不安全」全看它,输出里那两行就是全文的参照物。

标签 B 不是硬凑出来的:运营告警里「这一小时是不是异常高」,标签往往就是拿当小时的读数跟某个阈值比出来的,这类定义在监控场景里很常见。

而「可以用到 t」也不等于「可以用 t 之后」——预测下一小时时,t+1 的读数一样不能碰。

同一个特征,换个标签就能从安全变越界——这句话不是绕口令,下面第 4 小节会用一个具体特征把它演出来。

不先把标签时间定下来,谈泄漏根本没有参照物。

2. 只用过去的特征

标签口径定下来,就可以逐类检查特征了。

最稳妥的一类是只往回看:滞后 1、6、24 小时的客流,以及 6 小时滚动窗口的均值和最大值。

lagged = list(islice(readings, 0, n - lag))
window = list(islice(readings, i - w, i))   # 右开:只到 t-1
islice(readings, i-w, i) 是右开的,窗口最后一个是 t-1,不碰 t
生成列: ['客流_lag1h', '客流_lag6h', '客流_lag24h', '客流_滚动6h均值', '客流_滚动6h最大']
窗口不足留空的列,各空 6 行;不 dropna,时间轴一格不少
与 pandas shift / rolling 的最大差: 0.0 / 0.0 → 这一类交给 pandas 更划算

示例(第 30~32 行):
                     客流_lag1h  客流_lag6h  客流_lag24h   客流_滚动6h均值  客流_滚动6h最大
时间                                                                       
2026-03-02 06:00:00     143.0     170.0      121.0  159.166667      170.0
2026-03-02 07:00:00     178.0     150.0      135.0  160.500000      178.0
2026-03-02 08:00:00     207.0     158.0      153.0  170.000000      207.0

islice 的右边界是开区间,窗口里最后一个值是 t−1,不碰 t。

这一处边界就是整类特征的安全线,写窄一格、宽一格,性质完全不同。

三个 lag 列开头分别空 1、6、24 行,两个滚动列各空 6 行,这些空位一律留着,不 dropna——时间轴一格都不能少,少一格后面所有对位都会错。

空值只是「当时还算不出来」,不是坏数据,标出来留着就行,别顺手删掉。

输出里最后那行 0.0 / 0.0 是两版对着跑的结果:用 pandas 的 shift() 和 rolling().mean().shift(1) 更短,数值完全一致。

itertools 的价值不在重造滚动窗口,它真正派得上用场的是下一小节。

不过也别急着放心:特征干净不代表评估干净。

如果随手 train_test_split 随机切,验证行会夹在训练行中间,而相邻两个小时的客流高度相关,模型等于见过验证行的邻居。这一条留到第 5 小节量化。

3. 枚举组合的特征

只往回看的特征先放一边,接下来这组是拿维度组合算出来的,正好轮到 itertools 上场,pandas 没有顺手的对应物。

grid = list(product(range(24), cfg["日型"], cfg["时段"]))
for a, b in combinations(cfg["通道列"], 2):
    ...
product 网格: 192 格;实际可能出现的: 48 格;废组合: 144 格
废组合举例: [(3, '工作日', '早高峰'), (3, '工作日', '晚高峰'), (3, '工作日', '平峰')]
全量基线 与 只用训练段算的基线,训练期平均差: 7.6 → 全量那版每一行都掺了验证期的信息
只用历史的基线,验证期平均偏离实际: 36.0 (这是不偷看要付的代价)

combinations 枚举通道两两配对,12h 滚动相关(窗口右开):
  客流 ~ 气温:验证期均值 0.094;含 t 与不含 t 平均差 0.147
  客流 ~ 降雨:验证期均值 -0.235;含 t 与不含 t 平均差 0.083
  气温 ~ 降雨:验证期均值 0.019;含 t 与不含 t 平均差 0.105

product 把 24 小时、2 种日型、4 类时段全乘一遍,得 192 格,可真正会出现的只有 48 格,144 格是废组合,占四分之三。

废组合举例里那三行看得很清楚:时段是由小时决定的,7–9 点才是早高峰,凌晨三点不可能「早高峰」。

网格看着齐整,多数行永远等不到数据。枚举之前先想清楚维度之间是不是独立的,把由别人决定的维度再乘一遍,只会造出一堆永远用不上的行。

废组合还不只是白占格子:真拿它去填基线,那些格子分到的行数是 0 或者个位数,均值算出来根本不稳,回头又被当成「历史水平」用出去。

更麻烦的是往格里填基线。用全量均值填,每一行都掺了验证期的信息,输出里那 7.6 就是它与「只用训练段」在训练期的平均差;而老老实实只用历史的基线,验证期平均偏离实际 36.0——数据末段本来整体抬了一截(当它是新线路开通)。 这个 36 是不偷看要付的代价,得认下来,不能为了数字好看回头去用全量。

combinations 枚举三列通道的两两配对,算 12 小时滚动相关:客流与气温 0.094、客流与降雨 −0.235、气温与降雨 0.019,下雨骑车的人少,负号对得上。

这里同样有边界问题:窗口算到 t 还是只到 t−1,三对的平均差分别是 0.147、0.083、0.105,差一个位置,相关值就能动一截。

4. 含当前值的特征

上一章反复出现的那个 t,在这一章直接进到特征里。

accumulate 造运行均值很自然,但它算到第 t 项时,是把当前读数也算进去的。

running_sums = list(accumulate(readings))
counts = list(accumulate([1] * len(readings)))
running_mean = [s / c for s, c in zip(running_sums, counts)]
accumulate 的运行均值算到第 t 项包含当前读数
前 6 行:
                        客流  运行均值(含t)  相对基线偏差(含t)  相对基线偏差(不含t)
时间                                                           
2026-03-01 00:00:00  115.0    115.00        0.00          NaN
2026-03-01 01:00:00   59.0     87.00      -28.00       -56.00
2026-03-01 02:00:00  114.0     96.00       18.00        27.00
2026-03-01 03:00:00   97.0     96.25        0.75         1.00
2026-03-01 04:00:00  103.0     97.60        5.40         6.75
2026-03-01 05:00:00  114.0    100.33       13.67        16.40

看开头两行就明白:第一行客流 115,运行均值就是 115,偏差 0;第二行客流 59,含 t 的运行均值 87、偏差 −28,而只用历史的基线给出的偏差是 −56,差了一倍。

可越往后这个差越小——前 24 行平均差 2.93,全段平均差只剩 0.18,历史越长,当前值对基线的影响越小,小到容易让人觉得「无所谓」。

标签口径不因此改变。标签 A 是预测下一小时,t 时刻的读数当然能用,这列完全合法;标签 B 是判定 t 小时是否异常高,标签本身由 t 的读数算出,这时把 t 放进特征,等于把答案的一部分掺了进去。

所以泄漏不是特征的固有属性,是特征和标签之间的时间关系。同一列数字,换个问题就从安全变越界。

5. 一张时间边界审计表

前四类特征的安全边界各不一样,得放在一起才看得出差别。

把前四章造出来的特征摆到一张表里,每行只问三件事:它依赖到哪一刻、两种标签下各安不安全、有多少行用了验证期的数据。这张表是脚本最后打印出来的:

特征依赖到预测 t+1判定 t用到验证期
滞后 1/6/24 小时t−1 及更早安全安全0
滚动 6h 均值 / 最大t−1(右开)安全安全0
时段网格基线(全量)全段,含未来越界越界806
时段网格基线(历史)t−1安全安全0
两两滚动相关 12ht−1(右开)安全安全0
运行均值 / 偏差t(含当前)安全越界0

表里六类特征,两类越界的原因完全不同:全量基线是实打实用了未来数据,806 行训练样本全被污染;运行均值在标签 A 下一点问题没有,只在标签 B 下越界。

用起来也简单:造新特征之前先把「依赖到」这一格填上,再动手写实现,比写完一整套再回头查省事得多。

还有一半在评估层。

数一下验证行前后 3 小时内有没有训练邻居:

near = range(max(0, i - 3), min(n, i + 4))
if any(j != i and j in train_pos for j in near):
    ...
特征时间边界审计表:
          特征                用法     依赖到 预测t+1 判定t  用到验证期
客流_lag1/6/24            islice t-1 及更早    安全  安全      0
   滚动6h均值/最大 islice+accumulate t-1(右开)    安全  安全      0
  时段网格基线(全量)           product  全段,含未来    越界  越界    806
  时段网格基线(历史) product+expanding     t-1    安全  安全      0
   两两滚动相关12h      combinations t-1(右开)    安全  安全      0
     运行均值/偏差        accumulate  t(含当前)    安全  越界      0

验证行前后 3 小时内有训练邻居的比例:
  随机切分 100.0% ;时序切分 1.5%
特征可以干净,切分不干净照样虚高:相邻小时高度相关,随机切分等于让模型见过验证行的邻居

特征可以造得干干净净,切分不干净照样让分数虚高。

这两件事得分开查,混在一起就容易误判成「模型太强了」。

6. 串成一个入口

特征层和评估层都查完了,最后把这几步收成一个入口。

五步各是一个函数,run_pipeline 按序跑完,串起来就这么几行:

split = define_time_axis(df, cfg)
past_features(df, cfg)
tagged, full_base, exp_base = combo_features(df, cfg, split)

直接打印一份报告:不训练模型、不画图、不落盘,完整实现都收在同目录的 feature_pipeline.py 里,只依赖 pandas、numpy 和标准库 itertools。跑完先看审计表那两列——「哪些当时就能算出来」,答案不在特征多不多,在那一列「依赖到」上。