什么是随机搜索
随机搜索（Random Search）是一种用于机器学习模型超参数优化的策略，它与网格搜索类似，但采用了不同的方式来探索超参数空间。在随机搜索中，并不是对所有可能的超参数组合进行穷举搜索，而是从预先定义的超参数分布中随机抽取一定数量的样本，然后仅评估这些样本所对应的模型。
随机搜索的工作流程如下：
-
定义超参数空间：首先为每个想要优化的超参数定义一个值的分布或范围。例如，对于
n_estimators可以定义一个均匀分布于[10, 200]之间的整数值，对于max_depth可以定义一个离散集合如[None, 10, 20, 30]，或者是一个连续分布。 -
随机抽样：接着，根据预设的迭代次数（即你希望尝试多少个不同的超参数配置），从每个超参数的分布中随机抽取相应的值。这将生成一系列随机的超参数配置。
-
训练和评估模型：对于每一个随机生成的超参数配置，使用该配置训练一个新的模型，并通过交叉验证或其他验证方法评估其性能。
-
选择最佳模型：最后，基于评估结果，选出表现最好的那个超参数配置所对应的模型作为最终模型。
随机搜索的优点
-
效率更高：相比于网格搜索，随机搜索可以在更短的时间内覆盖更大的超参数空间，因为它不需要评估所有的超参数组合。特别是当超参数空间非常大时，随机搜索可以更快地找到好的超参数配置。
-
避免维度灾难：随着超参数数量的增加，网格搜索的计算复杂度呈指数增长，而随机搜索的计算复杂度是线性的，因此更能应对高维超参数空间。
-
更好的性能：研究显示，在很多情况下，随机搜索能够比网格搜索更有效地找到接近最优的超参数配置，尤其是在超参数的重要性不均等的情况下。这是因为随机搜索在每次迭代中都有机会探索到那些对模型性能影响较大的超参数的优秀值，而不像网格搜索那样可能会因为固定步长而错过这些值。
随机搜索的局限性
-
不可重复性：由于随机性，两次运行随机搜索可能会得到不同的结果。为了确保结果的稳定性和可重复性，通常会设置随机种子或增加迭代次数。
-
依赖于运气：虽然随机搜索能以较少的尝试覆盖更多的超参数空间，但它仍然依赖于运气，不能保证一定会找到全局最优解。
在Python的scikit-learn库中，RandomizedSearchCV类提供了执行随机搜索的功能，允许用户指定超参数的分布以及要尝试的迭代次数，并自动执行交叉验证以评估不同超参数配置下的模型性能。
