地球是一个复杂的系统。从气温波动等常规事件到干旱、冰雹和厄尔尼诺-南方涛动现象等极端事件，都可能影响农作物产量、导致航班延误，并引发洪水和森林火灾。对这些变化进行精准及时的预报，可以帮助人们采取必要预防措施以规避危机，或更好地利用风能和太阳能等自然资源。
基于Transformer的模型在其他AI领域的成功，促使研究人员尝试将其应用于地球系统预报。但这些努力面临几大主要挑战。其中最主要的是地球系统数据的高维度：直接应用Transformer二次复杂度注意力机制的计算成本过高。此外，大多数现有的基于机器学习的地球系统模型输出的是单一的确定性预测，这通常是广泛可能结果的平均值。然而，有时了解发生极端天气事件有10%的可能性，比了解一系列可能结果的一般平均值更为重要。最后，典型的机器学习模型没有物理定律或历史先例设定的约束，可能产生不太可能甚至不可能的预测。
近期的研究工作解决了所有这些挑战。发表于NeurIPS 2022的论文《Earthformer：探索用于地球系统预报的时空Transformer》提出了一种新颖的注意力机制，称为“立方体注意力”。该机制将输入张量分解为“立方体”，并在每个立方体内部应用注意力计算。由于注意力的计算成本随张量大小呈二次方增长，在每个立方体内局部应用注意力比一次性在整个张量上计算注意力权重要更易于计算处理。这种分解也引入了限制：注意力在每个立方体内独立计算，立方体之间没有信息交流。为了解决这个问题，还计算了总结立方体注意力权重的全局向量。其他立方体可以将这些全局向量纳入其自身的注意力权重计算中。
基于Transformer并配备立方体注意力的模型被称为Earthformer。它采用分层编码器-解码器架构，逐步将输入序列编码为多个层级的表示，并通过从粗到细的过程生成预测。每一层级都包含一个立方体注意力块堆栈。通过堆叠具有不同配置的多个立方体注意力层，能够有效探索高效的时空注意力。
扩散模型是另一种新兴的领先AI方法。它们是生成模型，通过迭代地向训练样本添加高斯噪声来建立前向过程；然后模型学习在反向扩散过程中逐步去除添加的噪声，最终得到清晰、高质量的生成结果。在训练过程中，模型学习一系列去噪步骤之间的转移概率。因此，它是一个本质上的概率模型，非常适合于概率预测。
在即将发表于NeurIPS 2023的论文《PreDiff：基于潜在扩散模型的降水临近预报》中，提出了PreDiff模型。这是一个潜在扩散模型，以Earthformer作为其核心神经网络架构。潜在扩散模型将输入首先馈送到自编码器，自编码器会产生一个压缩的嵌入表示，然后在压缩空间中进行扩散建模。通过修改训练后模型的转移概率，可以对模型输出施加约束，使其更有可能符合某些先验知识。这通过简单地平移学习到的分布的均值来实现，直到它更好地符合我们希望施加的约束。
研究团队在两个真实世界数据集上评估了这些模型。在SEVIR数据集上，任务是连续预测近期降水概率（“临近预报”），使用标准均方误差和临界成功指数进行评估。实验结果表明，Earthformer在均方误差和临界成功指数上均优于所有六个基线模型。包含全局向量的Earthformer版本也一致优于不含全局向量的版本。
在ICAR-ENSO数据集上，任务是预报海面温度异常。评估指标包括尼诺3.4指数（评估太平洋特定区域海面温度异常预测准确性）的相关系数技能。Earthformer在所有相关评估指标上均持续优于基线模型，使用全局向量的版本进一步提升了性能。
对于PreDiff，在SEVIR数据集上评估了其在近期降水强度预测（“临近预报”）任务上的表现。研究使用预期的未来降水强度作为知识控制来模拟可能的极端天气事件，如暴雨和干旱。研究发现，结合预期降水强度的知识控制能有效引导生成，同时保持保真度和对真实数据分布的遵循。这种模拟对于估计极端暴雨情况下的潜在损失非常有价值。FINISHED
