全文链接：tecdat.cn/?p=45627
原文出处：拓端数据部落公众号
关于分析师
在此对YouMing Zhang对本文所作的贡献表示诚挚感谢，他在东北大学完成了信息与计算科学专业的学位，专注机器学习与深度学习算法领域。擅长Python、Matlab编程及数据分析，熟悉神经网络、集成学习等主流算法框架。曾参与多个计算化学与生物信息学交叉 项目 **，在分子表征学习与高维统计建模方向积累了丰富的实践经验。
摘要 药物研发过程中，化合物与靶点蛋白结合亲和力的准确评估是筛选候选分子的关键环节。传统高通量筛选成本高昂且周期漫长，而现有机器学习方法在预测 精度 **上仍有提升空间。本文引入一种基于随机矩阵理论（Random Matrix Theory, RMT）的分类算法，利用Marchenko-Pastur分布确定特征空间中具有统计显著性的方向，构建靶点特异性的化学特征子空间。以ADRB1受体为研究对象，从公共生物活性数据库获取结合物与非结合物数据，采用摩根分子指纹进行结构表征。模型评估显示，RMT算法在独立验证集上的AUC值达到0.9以上，显著优于随机森林、朴素贝叶斯等传统方法。本文提供完整的Python实现代码与数据预处理流程，并针对论文写作场景给出模型解释与稳健性检验的实操建议。
关键词 随机矩阵理论；药物虚拟筛选；结合亲和力预测；Marchenko-Pastur分布；分子指纹；Python实现
引言
在计算化学与药物信息学交叉领域，如何从海量化合物库中高效识别具有潜在活性的分子一直是核心议题。传统的分子对接与自由能微扰方法计算开销巨大，难以应对大规模虚拟筛选需求。近年来，机器学习技术在结合亲和力预测任务中展现出独特优势，但多数算法依赖大规模标注数据，且在小样本场景下泛化性能有限。
从算法工程视角审视，这一问题可抽象为高维稀疏特征空间中的二分类任务——分子指纹维度通常高达数千维，而活性样本往往仅有数百个。经典机器学习模型在处理此类“大p小n”问题时容易陷入过拟合，亟需引入更稳健的统计推断框架。
本文所述方法源于我们此前协助某生物科技企业完成的技术咨询项目，该项目旨在构建一套轻量化、高精度的靶点特异性虚拟筛选工具。经过对多种算法范式的系统评估，我们最终采纳了基于随机矩阵理论的分析思路——该思路受一篇学术期刊论文启发，其核心在于利用Marchenko-Pastur分布自动甄别真实信号与随机噪声的边界。我们在此基础上完成了工程化实现与参数调优，相关代码与测试数据已整理完备。
本文内容改编自过往客户咨询项目的技术沉淀并且已通过实际业务校验，该项目完整代码与数据已分享至交流社群。阅读原文进群获取完整代码数据及更多最新 AI 见解和行业洞察，可与900+行业人士交流成长；还提供人工答疑，拆解核心原理、代码逻辑与业务适配思路；遇代码运行问题，更能享24小时调试支持。
下文将系统阐述RMT算法的数学原理、完整实现流程及性能评估结果。研究框架如下图所示：
数据获取与清洗
│
▼
分子指纹生成
│
▼
┌──────────────┐
│ 训练集缩放 │
└──────┬───────┘
│
▼
构建相关矩阵并特征分解
│
▼
Marchenko-Pastur阈值筛选
│
▼
构建靶点特征子空间
│
▼
测试集投影与距离计算
│
▼
ROC曲线与AUC评估
1 选题背景与研究意义
1.1 药物虚拟筛选的现实需求
先导化合物发现是创新药物研发的起点，其效率直接决定后续临床开发的成功概率。传统实验筛选手段受限于化合物库规模与检测通量，单次筛选通常仅能覆盖数万至数十万个分子，而理论化学空间高达10^60量级。计算方法的介入为解决这一矛盾提供了可行路径。
基于受体结构的分子对接虽能给出直观的结合模式，但评分函数精度有限且单分子耗时较长。基于配体的机器学习方法则另辟蹊径——通过已知活性分子的结构特征外推未知化合物的活性概率，在虚拟筛选场景中更具计算经济性。
1.2 现有方法的局限性
随机森林与朴素贝叶斯是虚拟筛选领域应用最广的两类算法，二者在多数公开基准测试中的AUC值稳定在0.70至0.80区间。然而，这一精度水平意味着排名前10%的候选分子中仍有大量假阳性，后续实验验证成本被显著抬高。
深入分析可知，性能瓶颈部分源于特征构造方式。摩根指纹将分子结构编码为长度为2048的二元向量，但其中仅有少数比特位与特定靶点的结合行为真实相关。在样本量有限的情况下，模型难以从高维噪声中准确辨识这些信号位点。
1.3 随机矩阵理论的引入价值
随机矩阵理论为高维数据分析提供了独特的数学工具。其核心洞察在于：当数据矩阵的元素满足特定随机性假设时，其样本协方差矩阵的特征值分布收敛于确定的Marchenko-Pastur分布。偏离这一理论分布的特征值（超出上界者）即蕴含了非随机的结构化信息。
将这一思想迁移至药物筛选场景，可通过分析结合物训练集的特征相关矩阵，筛选出统计意义上显著偏离随机预期的特征方向，进而构建靶点特异性的结合特征子空间。未知分子在该子空间投影后的残差距离即反映了其与结合模式的偏离程度。该方法仅需结合物数据即可完成建模，规避了对大规模非结合物标注的依赖。
2 数据来源与预处理全流程
2.1 数据集 **构成
本研究需要两类数据集：
- 训练集与验证集：对ADRB1受体具有明确结合活性的化合物，活性阈值设为IC50/Kd/Ki ≤ 1000 nM
- 诱饵集：假定对ADRB1无结合活性的化合物。实践中选取5HT1A受体的配体分子，因该受体与ADRB1序列同源性较低
2.2 数据清洗步骤
原始CSV文件包含大量冗余字段，需提取核心列：化合物ID、SMILES字符串、标准活性值。清洗流程遵循以下规则：
- 剔除SMILES为空或格式无效的记录
- 对于训练验证集，保留标准活性值≤1000 nM的分子并标记为正样本
- 对于诱饵集，活性值不作为筛选依据，全部标记为负样本
加载后的数据集结构如下：
需要特别关注的是SMILES列，位于DataFrame中部位置，后续将用于分子指纹生成：
接下来筛选关键列并划分训练验证集
3 分子指纹生成与特征矩阵构建
3.1 摩根指纹原理简述
摩根指纹（又称扩展连通性指纹，ECFP）是目前应用最广的化学信息学表征方法之一。其算法流程可概括为：
- 为分子中每个重原子分配初始标识符（基于原子类型、连接数等局部属性）
- 迭代更新：将相邻原子的标识符拼接后重新哈希，逐步扩展感知半径
- 最终将所有生成的特征子结构映射至定长位向量
本研究中采用半径为2（相当于直径4）的摩根指纹，输出长度固定为2048位。每一位对应特定化学子结构的有无。
3.2 RDKit实现
相关文章
DeepSeek、LangGraph和Python融合LSTM、RF、XGBoost、LR多模型预测NFLX股票涨跌|附完整代码数据
原文链接：tecdat.cn/?p=44060
4 RMT算法原理与实现
4.1 核心数学框架
随机矩阵理论在分类问题中的应用基于以下观察：对于元素独立同分布的高斯随机矩阵，其样本相关矩阵的特征值渐近分布服从Marchenko-Pastur定律。该分布的概率密度函数为：
ρ(λ) = (γ / (2πσ²λ)) × √((λ_max - λ)(λ - λ_min))
其中γ = p/N描述特征维度与样本量之比，λ_max与λ_min分别为理论特征值的上下界：
λ_max = σ²(1 + √γ)²
λ_min = σ²(1 - √γ)²
在标准化数据（σ²=1）条件下，任何大于λ_max的特征值均以高概率表明对应特征向量方向蕴含了超越随机涨落的结构化模式。RMT算法正是利用这一性质，从结合物训练集的相关矩阵中提取统计显著的特征向量，张成靶点结合特征子空间。
4.2 算法步骤分解
步骤一：特征标准化
使用训练集的列均值与标准差对全部数据集进行标准化，确保相关矩阵计算前的特征尺度一致性。
步骤二：相关矩阵特征分解
计算训练集指纹矩阵的样本相关矩阵，并求解特征值与特征向量。
步骤三：MP阈值筛选
根据训练集样本量N与特征维度p计算MP上界，仅保留特征值大于该阈值的特征向量，构成投影矩阵V。
步骤四：未知样本投影与距离计算
将待测样本标准化后投影至V张成的子空间，计算原始向量与投影向量间的欧氏距离。距离越小，表明分子越符合训练集所表征的结合模式。
步骤五：分类决策
引入距离阈值ε：若残差距离≤ε则预测为结合物，否则预测为非结合物。ε的取值可通过训练集的指定分位数确定。
4.3 Python分类器实现
4.4 代码运行高频问题与修复方案
在论文复现过程中，以下问题较为常见：
问题一：RDKit导入失败或分子指纹生成异常
报错信息：ImportError: No module named 'rdkit' 或 MolFromSmiles返回None
修复方案：
# 确保RDKit正确安装（推荐通过conda）
# conda install -c conda-forge rdkit
# 对SMILES字符串做预处理，去除可能导致解析失败的特殊字符
def preprocess_smiles(smi_str):
# 移除盐组分（取最大片段）
parts = smi_str.split('.')
return max(parts, key=len) if len(parts) > 1 else smi_str
问题二：相关矩阵出现NaN值
原因：训练集标准化后某列方差为零
修复方案已在fit方法中实现（nonzero_var_mask筛选），若问题仍存在可添加：
# 进一步检查并移除含NaN的样本
nan_rows = np.isnan(X_scaled).any(axis=1)
if nan_rows.any():
print(f"警告：移除{nan_rows.sum()}个含无效值的样本")
X_scaled = X_scaled[~nan_rows]
问题三：MP筛选后子空间维度为零
原因：样本量过少或特征维度过高导致γ值过大
修复方案：适当降低mp_multiplier参数或增大训练样本量。如需代码层面的调试支持，可获取免费的代码预检服务。
5 模型结果对比与解读
5.1 预测性能评估
对验证集（结合物）与诱饵集（非结合物）分别执行预测，统计真阳性率与假阳性率：
5.2 ROC **曲线绘制与AUC计算
通过调节距离阈值ε，可获得一系列（假阳性率，真阳性率）坐标点，进而绘制受试者工作特征曲线：
最终ROC曲线如下，AUC达到0.9以上，较随机森林与朴素贝叶斯（通常为0.7~0.8）有显著提升：
5.3 实证结果的解读
维度一：统计显著性验证
AUC值的提升并非偶然。从方法论角度，RMT通过MP分布从数学上界定了信号与噪声的边界，避免了对特征重要性的人为假设。建议在论文中补充置换检验（Permutation Test）结果，以量化AUC提升的显著性水平。
维度二：生物学可解释性
筛选出的显著特征向量对应了哪些化学子结构组合？可通过反向映射将特征向量权重较大的指纹位点解码为具体的SMARTS模式，进而关联至药效团模型。这一分析能显著增强论文的领域深度。
维度三：泛化能力边界
模型在5HT1A诱饵集上表现良好，但是否能泛化至结构差异更大的化学空间？建议增设多样性采样验证，评估模型对骨架跃迁分子的识别能力。
如对变量匹配、模型适配论文主题没有把握，可获取对应的1v1专项辅导支持。
6 模型优化方向与稳健性检验
6.1 随机矩阵判别分析扩展
前述RMT算法仅利用了结合物的正向相关性信息，未考虑非结合物所蕴含的“排斥特征”。随机矩阵判别分析（RMD）对此进行了自然扩展：分别在结合物集与非结合物集上执行RMT流程，获得正向特征子空间V_pos与负向特征子空间V_neg。待测分子需满足：在V_pos上投影残差小，同时在V_neg上投影残差大。
RMD在原文献中报道的AUC进一步提升，ROC曲线如下图所示：
6.2 稳健性检验清单
| 检验项 | 操作要点 | 预期结论 |
|---|---|---|
| 指纹参数敏感性 | 对比半径=2、3及位长=1024、4096的组合 | AUC波动≤0.05，结论稳健 |
| 活性阈值敏感性 | 将结合物判定阈值调整为100 nM、500 nM | 模型对合理阈值范围不敏感 |
| 诱饵集替换 | 改用随机采样分子或其它非同源靶点配体 | 假阳性率保持稳定 |
| 训练集规模扰动 | 对训练集做80%~100%比例的bootstrap采样 | 模型在≥60%样本量时性能收敛 |
6.3 答辩高频提问预判
提问1：MP分布假设数据服从高斯分布，分子指纹是二元变量，为何仍适用？
回答要点：二元矩阵在列数足够大时，其样本协方差矩阵的渐近谱分布仍向MP律收敛，已有文献证明该性质在离散数据上的鲁棒性。同时，标准化步骤进一步削弱了分布假设的影响。
提问2：ε阈值由训练集95%分位数确定，此参数选择的客观性如何保证？
回答要点：95%并非固定取值，而是通过ROC曲线全局优化得到的最优操作点。论文中可通过交叉验证验证该参数选择的泛化稳定性。
提问3：与深度学习方法（如图神经网络）相比，RMT的优势何在？
回答要点：RMT无需大量标注数据，在小样本场景下表现更稳健；计算复杂度低，单次预测仅需矩阵乘法；模型具有明确的可解释性（显著特征向量可映射至化学子结构）。
7 研究结论
本文系统阐述了基于随机矩阵理论的药物-靶点结合预测方法，并在ADRB1受体数据集上完成了完整实现与评估。主要结论如下：
（1）Marchenko-Pastur分布为高维分子指纹数据中的信号甄别提供了理论完备的数学工具，可自动识别具有统计显著性的特征组合方向。
（2）RMT算法在仅使用结合物数据训练的前提下，AUC达到0.9以上，显著优于随机森林、朴素贝叶斯等常用方法。
（3）算法工程实现简洁，计算开销小，适合嵌入大规模虚拟筛选流程。
（4）RMD扩展进一步整合了非结合物信息，在保持计算效率的同时提升了判别精度。
后续研究可围绕特征向量的化学可解释性展开，将显著指纹位点逆向解码为具体的药效团模式，为药物化学家提供更直观的结构改造线索。
本文配套的论文建模可直接套用的完整代码包、实证分析， 可加小助手微信：tecdat_cn领取，我们可提供全流程的辅助学术合规辅导、1v1建模陪跑服务，助力顺利完成科研、通过答辩。
阅读原文进群获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。
