因子、指标与实验设计三者的关系
摘要
因子、指标与实验设计常被当作三件独立的事,同一个量在两处各定义一次,实验的输入与被评估对象相互混淆。本文给出只需两问的判定——能否设定、能否测量——并说明三者共享同一批变量:因子与指标是同一条边的两端,实验设计是检验方案。
一个量同时出现在两份清单里。
做想定的人在因子表里写下"探测距离",因为它可以调;做评估的人在指标树里也写下"探测距离",因为它可以测。两条记录各有名称、各有单位、各有维护者,彼此之间没有引用关系。
于是有个问题必须先回答:它到底算什么?
这看着像术语之争,其实是结构问题。答错了,后面每一步都会歪——指标树会长出与研究无关的枝,因子表会混进不该动的东西,研究问题会变成一句谁都能解释、谁都无法验证的口号。
下面把这三个概念的关系一次说清。
一、三个概念,各管一段
因子回答"什么在变"。 它是自变量侧的选取:把研究中要主动改变的条件挑出来,写成清单。清单上的每一项,都应当可以设定、可以控制。
指标回答"怎么判断好坏"。 它是因变量侧的建模:把评判结果要用的量挑出来,并定义它们怎么计算、怎么合成。效能类指标是评估的根,性能类指标是支撑它的中间量。
实验设计回答"用什么方案去证实"。 它把自变量与因变量配对成一组可检验的假设,再展开成可执行、可复现的运行清单:哪些组合要跑、每个组合跑几次、每次用什么随机种子。
一句话区分:因子管输入,指标管输出,实验设计管输入与输出的对应关系。
三者不是并列关系。前两个定义"研究什么",第三个定义"怎么研究"。
图 1 三个概念各管一段
二、一个量算因子还是指标:两个问题就能判断
判定只看两条属性:
- 能否在研究场景中设定?(可否干预)
- 能否从结果中被测出或算出?(可否观测)
两个问题各有是、否两种回答,组合起来是四格:
| 可观测 | 不可观测 | |
|---|---|---|
| 可干预 | 双重身份 | 纯因子 |
| 不可干预 | 纯响应 | 潜在能力 |
四格的含义各不相同:
可干预 × 可观测——双重身份。 既是可以拧的旋钮,又是要读的仪表。探测距离最典型:雷达的探测范围既决定了想定里的态势,又是评判探测能力的直接依据。
可干预 × 不可观测——纯因子。 只需在场景里设定,不进入指标树。威胁强度、兵力编成属于这一类:它们定义研究的条件,本身不是被评估的对象。
不可干预 × 可观测——纯响应。 指标体系的根。突防成功率、交换比属于这一类:它们由结果决定,不能被直接设定。
不可干预 × 不可观测——潜在能力。 这一格不能停留。一个既不能设定、又测不出来的量,对研究没有意义,必须继续分解,直到落入其他三格。
图 2 一个量属于哪一类,取决于两条属性
关键在"双重身份"这一格。 它是唯一可能造成混乱的地方:其他三格的归属都很明确,只有这一格同时满足两侧的条件,因此必须被明确指认——它既是因子,也是指标。
三、把三者串起来:研究问题其实是“一条边”
研究问题通常写成一句话,比如"探测距离对突防成功率有多大影响"。这看着是自然语言,结构上却是“一条边”:
左端是可干预的变量,右端是可观测的变量。
前半句"探测距离"来自因子字典,后半句"突防成功率"来自指标体系。所谓研究,就是沿着这条边去收集证据,判断左端的变化是否、以及在多大程度上引起右端的变化。
于是三者的关系清晰了:因子字典是这条边的左端,指标体系是右端,实验设计是对这条边的检验方案。
图 3 研究问题是左端与右端之间的“一条边”
这也解释了一个容易被忽略的约束——同一条边不可能有两套端点定义。如果同一个量在因子表里叫一个名字、在指标树里叫另一个名字,这条边就是断的:既无法校验配对是否合理,也无法把研究问题向下传递给实验设计与后续分析。
补一句常被跳过的性质:指标树里的连接线,含义会随评估方式改变。做加权合成时,它表示权重;做统计推断时,它表示一条待检验的假设。同一种结构,两种语义——所以在动手建指标树之前,必须先确定用哪种评估方式。
四、两种常见错误
错误一:同一个量被定义两次。
因为缺少共同的指称对象,它在一侧被记成因子、在另一侧被记成指标,两个定义永不关联。短期内看不出问题,因为两边都能用;时间一长,口径会分叉——因子表里写的是标称值,指标树里用的是换算值,同一件事有了两个数,而没有任何机制提示它们本应一致。
错误二:把评估对象当作变化输入。
把"能力"类量当作控制因子去调整,看起来是在做实验设计,实际上是在改变被评估的对象本身。比如把某系统的处理能力设成几档去比较,得到的差异说明不了作战效能——因为研究对象已经被换掉了。
这两种错误有一个共同特征:它们都不会报错。 程序照常运行,结果照常输出,问题只在结论无法解释的时候才浮现出来。
结语
回到开篇那个量。用两条属性把它过一遍:探测距离可以被设定,也可以被测量——它落在"双重身份"那一格。所以它同时属于因子字典和指标体系,而且是同一份定义,只是被两处引用。
归属一清楚,清单就只是视图;归属不清楚,清单就会变成两个平行世界。
因子、指标与实验设计,是同一张变量图的三个视角——图先立起来,三者才各就各位。