数据集
为验证模型性能,选取三个经典的连续动力系统生成时间序列数据:
- 杜芬振子(Duffing Oscillator) 该系统表现出周期运动和混沌边缘行为,是测试非线性振子建模能力的典型算例。
- 洛伦兹系统(Lorenz System) 系统处于混沌状态,对初值敏感,是评估模型捕捉复杂长期依赖能力的挑战性任务。
- Hopf振子(Hopf Oscillator) 系统呈现稳定的极限环,用于检验模型对周期振荡的拟合能力。
每个系统使用6组不同初始条件,通过四阶龙格-库塔法(或欧拉法)生成1000个时间步,时间区间 [0,20]。数据按7:3划分为训练集和测试集,并对输出进行标准化。实验结果表明:洛伦兹系统因混沌特性导致预测误差较大(测试MSE ~20-40),而杜芬和Hopf振子相对简单,模型可取得极高精度(R² >0.99),验证了数据集设计的合理性。
网络结构
网络由三层构成:稀疏连接层、全连接隐藏层和输出层。每个神经元通过比较输入与可学习参照点 c 的距离计算相似度 s = 1/(1+|x-c|^2),并引入可学习权重 k 对不同参照点的响应进行加权:o = s / sum(S)。这里每个参照点拥有独立可学习的权重 k,提供了分配责任的依据,能够自适应地调节各参照点的重要性,使网络在建模时动态聚焦于输入空间的特定区域。最后将所有神经元的输出加权求和并加偏置得到最终结果。关键创新包括可学习参照点、注意力机制和稀疏连接。
实验结果
在参数量相近的条件下(Custom网络613参数,MLP 737参数),对六个随机种子进行实验。平均测试MSE显示:杜芬系统上Custom为0.000199,MLP为0.002275;洛伦兹系统上Custom为19.57,MLP为41.90;Hopf系统上Custom为0.00367,MLP为0.0834。Custom网络在所有系统上均取得更低的预测误差和更高的R²,尤其在混沌洛伦兹系统上优势显著。这得益于其可学习权重对不同局部特征的灵活适配能力,使得模型在有限参数量下能更有效地提取动力学本质,从而获得更强的泛化性能。
github:github.com/kami2to1/Ne…