【贝叶斯优化计算公式】贝叶斯优化是一种用于寻找函数最优值的高效方法，尤其适用于目标函数计算成本高、不可导或黑箱的情况。它通过构建概率模型（如高斯过程）来估计目标函数的行为，并利用采集函数（如EI、UCB、PI）指导下一步采样点的选择。本文将对贝叶斯优化的核心计算公式进行总结，并以表格形式展示关键概念与公式。
一、贝叶斯优化核心步骤
1. 建立先验分布：通常使用高斯过程作为先验，假设目标函数服从某种分布。
2. 选择采集函数：根据当前模型预测结果，决定下一个采样点。
3. 更新后验分布：根据新样本数据更新模型参数。
4. 重复迭代：直到达到最大迭代次数或满足收敛条件。
二、关键公式总结
| 模块 | 公式 | 说明 | |
| 高斯过程先验 | $ f(x) \sim \mathcal{GP}(m(x), k(x, x')) $ | $ m(x) $ 为均值函数，$ k(x, x') $ 为协方差核函数 | |
| 后验分布 | $ p(f_ | X, y) = \mathcal{N}(\mu_, \sigma_^2) $ | 其中 $ \mu_ = k(X, x_)^T (K + \sigma_n^2 I)^{-1} y $ $ \sigma_^2 = k(x_, x_) - k(X, x_)^T (K + \sigma_n^2 I)^{-1} k(X, x_) $ |
| 期望改进（EI） | $ \text{EI}(x) = \mathbb{E}_{f_}[\max(0, f_{\min} - f_)] $ | $ f_{\min} $ 为当前最小值，$ f_ $ 为预测值 | |
| 上置信界（UCB） | $ \text{UCB}(x) = \mu(x) + \kappa \sigma(x) $ | $ \kappa $ 为探索-利用平衡系数 | |
| 概率改进（PI） | $ \text{PI}(x) = P(f_ < f_{\min}) $ | 表示在某点取得更优解的概率 | |
| 最大化采集函数 | $ x_{\text{next}} = \arg\max_x \text{Acq}(x) $ | 选择使采集函数最大的点进行下一次评估 |
三、流程图简述
1. 初始化训练集 $ X, y $
2. 构建高斯过程模型
3. 计算采集函数值
4. 选择最大化采集函数的点 $ x_{\text{next}} $
5. 评估 $ y_{\text{next}} = f(x_{\text{next}}) $
6. 更新训练集并重复
四、总结
贝叶斯优化通过概率建模和智能搜索策略，在复杂优化问题中表现出良好的性能。其核心在于高斯过程对目标函数的建模能力以及采集函数对搜索方向的引导作用。掌握这些计算公式有助于深入理解算法原理，并在实际应用中进行有效调参和优化。
注：本文内容基于贝叶斯优化的基础理论整理而成，适用于初学者或希望快速了解该算法的人群。