向量加权平均算法（INFO）优化SVM参数的回归预测实践-程序员充电站

向量加权平均算法（INFO）优化支持向量机（SVM）参数的回归预测多输入单输出/或时间序列【优化参数类型】：惩罚参数c和核函数参数g 【适应度函数】：5折交叉验证（5-CV）后的回归误差 INFO，是于2022年提出的一种新型智能优化算法。【首次发表于期刊：Expert Systems With Applications，中科院1区top】该算法通过向量的不同加权平均规则，来达到寻优目的。通过案例比较，其优化性能略优于灰狼算法、蜣螂优化算法相当。后续可利用混沌映射，差分变异等进一步改进INFO算法。【实物】：案例包括一个回归问题（多输入单输出/或时间序列），涵盖MAPE、MSE、RMSE、R2、NSE等多个精度指标，预测结果直接存储于Excel表格中（每次运算时，关闭Excel表格，运算结束后结果自动更新。）易上手，简单粗暴替换Excel中的原始数据即可实现。【该代码的优势】该代码具有清晰的编码框架，可在该框架下将优化算法替换为其它算法。

最近在研究支持向量机（SVM）的参数优化问题，发现了一篇挺有意思的文章，是关于一种叫做INFO（向量加权平均算法）的优化方法。这个算法是2022年提出的，发表在《Expert Systems With Applications》上，属于中科院1区top期刊，说明它的理论基础和实际应用价值还是挺高的。INFO算法的核心思想是通过向量的不同加权平均规则来实现寻优，听起来有点像其他群智能算法的思路，但具体实现可能更简洁。

为什么需要优化SVM参数？

SVM在回归问题中表现得非常优秀，但它有两个关键参数需要调优：惩罚参数C和核函数参数g。这两个参数对模型的性能影响非常大，C控制惩罚力度，g则影响核函数的非线性程度。如果这两个参数没调好，模型可能会欠拟合或过拟合，导致预测效果大打折扣。传统的网格搜索或随机搜索虽然简单，但效率不高，尤其是面对复杂的高维数据时，优化过程可能会非常耗时。

INFO算法的优势

INFO算法的优化性能在实验中被证明略优于灰狼算法，与蜣螂优化算法相当，说明它在解决优化问题上还是挺有潜力的。而且，INFO算法的实现相对简单，代码框架也比较清晰，适合用来优化SVM参数。

实战演练：用INFO优化SVM回归

为了让大家更直观地理解这个算法，我来分享一个实际案例。这个案例是一个多输入单输出的回归问题，也可以看作是一个时间序列预测问题。实验中使用了MAPE、MSE、RMSE、R²、NSE等多个指标来评估模型的预测精度，结果直接存储在Excel表格中，每次运行代码时需要先关闭Excel文件，运行结束后结果会自动更新。

代码实现

这里是一个简单的Python代码框架，展示了如何用INFO算法优化SVM的参数：

import numpy as np from sklearn.svm import SVR from sklearn.model_selection import KFold from sklearn.metrics import mean_squared_error import pandas as pd # 定义INFO算法的优化函数 def info_optimization(X, y, max_iter=100, pop_size=50): # 初始化种群，假设搜索空间是C和g的范围 C = np.logspace(-2, 2, 100) g = np.logspace(-2, 2, 100) population = np.array([[np.random.choice(C), np.random.choice(g)] for _ in range(pop_size)]) best_fitness = float('inf') best_params = None for iter in range(max_iter): # 计算适应度 fitness = [] for params in population: c, gamma = params kf = KFold(n_splits=5, shuffle=True, random_state=42) mse = 0 for train_index, test_index in kf.split(X): X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] svr = SVR(kernel='rbf', C=c, gamma=gamma) svr.fit(X_train, y_train) y_pred = svr.predict(X_test) mse += mean_squared_error(y_test, y_pred) fitness.append(mse / 5) # 更新最优解 current_best = np.argmin(fitness) if fitness[current_best] < best_fitness: best_fitness = fitness[current_best] best_params = population[current_best] # 向量加权平均操作 # 这里可以自定义加权规则，比如取种群中表现最好的几个个体进行加权 weights = np.exp(-np.array(fitness) / np.max(fitness)) weights /= np.sum(weights) new_population = np.zeros_like(population) for i in range(pop_size): idx = np.random.choice(range(pop_size), size=2, replace=False, p=weights) new_population[i] = population[idx[0]] * 0.5 + population[idx[1]] * 0.5 population = new_population return best_params # 读取数据 data = pd.read_excel('data.xlsx') X = data.iloc[:, :-1].values y = data.iloc[:, -1].values # 运行优化算法 best_c, best_gamma = info_optimization(X, y) # 保存结果 result = pd.DataFrame({'C': [best_c], 'gamma': [best_gamma]}) result.to_excel('result.xlsx', index=False)