3. 優化算法的區別與使用情境
3.1. 爲何需要了解不同算法
參數空間與計算成本差異大:網格搜索在小空間上可靠但組合爆炸;啓發式或貝葉斯在有限評估次數下權衡精度與速度;不同算法對連續/離散/混合參數的支持也不同。
3.2. 各優化算法對比(羅列並說明區別)
算法 |
原理簡述 |
優點與侷限 |
適用參數規模 |
連續/離散/混合 |
典型計算成本 |
|---|---|---|---|---|---|
grid |
在網格點上窮舉或遍歷 |
實現簡單、結果可復現;維數高時不可行 |
小(2~3 維) |
離散爲主 |
隨點數線性增長 |
montecarlo |
隨機採樣參數組合 |
實現簡單、易並行;需較多樣本才穩定 |
中、大 |
均可 |
由 sample_count 決定 |
GA |
遺傳、交叉、變異 |
適合非凸、多峯;調參敏感 |
中、大 |
均可 |
由代數與種羣規模決定 |
SA |
模擬退火、概率接受劣解 |
可跳出局部最優;收斂較慢 |
中 |
均可 |
由迭代次數決定 |
PSO |
粒子羣位置與速度更新 |
連續空間表現好;離散需編碼 |
中、大 |
連續爲主 |
由粒子數與迭代決定 |
bayesian |
代理模型+採集函數 |
樣本少時效率高;高維成本高 |
小、中 |
連續爲主 |
由迭代與模型擬合決定 |
3.3. 使用情境與選擇建議
參數少、離散:優先 grid 或小規模 montecarlo。
參數多、需少步數:考慮 bayesian 或 GA/PSO。
連續空間、多峯:PSO、GA 或 SA。
opti_sample_count、參數個數:樣本或迭代不足時,啓發式可能早停;可適當增大 opti_sample_count 或降低參數維度。
3.4. 簡要對比表
見上表;實施時以當前 qteasy 支持的 opti_method 及文檔爲準,注意各算法的典型參數(如 GA 的種羣大小、變異率等)在配置中的名稱與默認值。