一、孪生支持向量机（TWSVM）简介
对于一个标准的支持向量分类问题，其基本思想就是在正负两类样本之间寻求一个最优超平面。在支持向量机中，通过求解一个二次规划问题可获得两个平行的超平面，而 SVM 的最优超平面可以通过最大化两个平行超平面之间的距离获得，SVM 的分类示意图如图 4-1 所示。
孪生支持向量机（Twin support vector machines，TWSVM）是在传统支持向量机基础上发展起来的一种新的机器学习方法。TWSVM 与 SVM 根本区别在于 TWSVM 通过解决两组小型二次规划（Quadratic programming，QP）解决二分类问题，而 SVM 则通过求解一组大型 QP 解决所有的分类问题，因此 TWSVM 的工作速度比标准 SVM 快 4 倍。
二、部分源代码
% 线性孪生支持向量机二类分类算法
close all
clear
clc
%--------------导入数据-------------------%
load N_p % 正类点数据，特征信息存放在行里面
load N_n % 负类点数据，特征信息存放在行里面
%-----------------------------------------%
%% 第一步：数据预处理
%-------- 由原来的数据产生80%的训练数据和20%的预测数据------------%
n_p=size(N_p,1); % 正类样本个数
n_n=size(N_n,1); % 负类样本个数
n1=randperm(n_p); % 对1到n的n个正整数进行随机不重复的排列，形成一个1行n列的矩阵
n2=randperm(n_n);
f_p=floor(4*n_p/5); % 取80%的数据作为训练集，其余20%作为预测集
f_n=floor(4*n_n/5);
data_train_p=N_p(n1(1:f_p),:); % 正类训练数据
data_train_n=N_n(n2(1:f_n),:); % 负类训练数据
data_train=[data_train_p;data_train_n]; % 训练数据集（含正负类）
Y_train=[ones(f_p,1);-ones(f_n,1)]; % 训练数据标签集
data_predict_p=N_p(n1(f_p+1:end),:); % 正类预测数据
data_predict_n=N_n(n2(f_n+1:end),:); % 负类预测数据
data_predict=[data_predict_p;data_predict_n]; % 预测数据集（含正负类）
Y_predict=[ones(n_p-f_p,1);-ones(n_n-f_n,1)]; % 预测数据标签集
%----------------------------------------------------------------%
%----------相关参数初始化----------%
c1min=-2; c1max=2; %孪生支持向量机参数
c2min=-2; c2max=2;
best_c1=0; best_c2=0;
aac=rand(10,1);
bestAccuracy=0;
%--------------------------------%
%% 第二步：数据训练寻找最优参数c1,c2
% 将c1和c2划分网格进行搜索
indices = crossvalind('Kfold',Y_train,10);
tic;
for c1=2^(c1min):1:2^(c1max)
for c2=2^(c2min):1:2^(c2max)
%采用K-CV方法,将data大致平均分为K组
for run= 1:10
test=(indices == run); train=~test;
train_data=data_train(train,:); % 训练数据集（含正类负类点集）
train_data_label=Y_train(train,:); % 训练集标签（含正类负类点集）
test_data=data_train(test,:); % 预测数据集（含正类负类点集）
test_data_label=Y_train(test,:); % 预测集标签（含正类负类点集）
groupA=ismember(train_data_label,1); % 分出正类点的位置
groupB=ismember(train_data_label,-1); % 分出负类点的位置
A=train_data(groupA,:); % 正类训练数据
B=train_data(groupB,:); % 负类训练数据
%训练数据
[v1,v2]=twinsvm_lin_train(A,B,c1,c2);
%用训练所得孪生分类器进行分类
[accuracy]=twinsvm_lin_predict(v1,v2,test_data,test_data_label);
%下面用验证集进行验证,并记录此时的准确率
acc(run)=accuracy;
end
cv=sum(aac)/10;
if (cv>bestAccuracy)
bestAccuracy=cv;
best_c1=c1;
best_c2=c2;
end
end
end
disp('准确率及最优参数');
str = sprintf( 'Best Cross Validation Accuracy = %g%% ;Best c1 = %g ; Best c2 = %g;',bestAccuracy*100,best_c1,best_c2);
disp(str);
t_train=toc
%---------------------------------------------------------------------%
%% 第三步：通过最优参数，对80%的数据训练，产生分类面，利用20%的预测数据进行准确率计算
k=0;
c1=best_c1;
c2=best_c2;
tic;
[v1,v2,IB,JA]=twinsvm_lin_train(data_train_p,data_train_n,c1,c2);
[aac]=twinsvm_lin_predict(v1,v2,data_predict,Y_predict);
t_predict=toc
disp('预测准确率结果');
str = sprintf( 'Accuracy =%g%% ',aac*100);
disp(str);
%% 第四步：绘图
tic;
% -------------绘制训练点----------------%
plot(data_train_p(:,1),data_train_p(:,2),'c+',data_train_n(:,1),data_train_n(:,2),'mx');
title('线性孪生支持向量机')
hold on
grid on
% ------------绘制预测点-----------------%
plot(data_predict_p(1,:),data_predict_p(2,:),'g>',data_predict_n(1,:),data_predict_n(2,:),'r<');
% -----------绘制支持向量----------------%
plot(data_train_n(IB,1),data_train_n(IB,2),'ko',data_train_p(JA,1),data_train_p(JA,2),'ko'); %??????
% ---------绘制分类面的图像--------------%
plotpc(v1(1:2,:)',v1(3))
plotpc(v2(1:2,:)',v2(3))
legend('正类训练点','负类训练点','正类预测点','负类预测点','支持向量');
t_picture=toc
hold off
%% 双支持向量分类机训练函数
function [v1,v2,IB,JA]=twinsvm_lin_train(A,B,c1,c2)
%%OUTPUT: 线性孪生支持向量机的训练函数
% IB、JA分别是用来寻找支持向量所对应的下标
%%INPUT: A、B分别为正类训练数据和负类训练数据
% c1、c2是孪生支持向量机中参数
lower=1e-5;
q=size(A,1);S=size(B,1);
e1=ones(q,1);e2=ones(S,1);
% 计算H,G
H=[A,e1];
G=[B,e2];
Q=G*inv(H'*H+0.05*eye(size(H'*H,1)))*G'; % S*S
Q1=inv(H'*H+0.05*eye(size(H'*H,1)))*G'; % l1*S
% 产生矩阵f
f=-e2;
% 变量限制
% 产生初始点x0
x0=zeros(S,1);
% 求最优解x
[x,fval,exitflag]=quadprog(Q,f,[],[],[],[],lb,ub,x0);
v1=-Q1*x;
% 根据孪生支持向量机的要求，寻找支持向量下标（B类数据的下标）
[m,n]=size(x);
IB=rand(m,n);
run=max(m,n);
for i=1:run
if (x(i)>lower&&x(i)<c1)
IB(i)=1;
else
IB(i)=0;
end
end
IB=find(IB>0);
% 计算H,G
G=[A,e1];
H=[B,e2];
Q=G*inv(H'*H+0.05*eye(size(H'*H,1)))*G';
Q1=inv(H'*H+0.05*eye(size(H'*H,1)))*G';
% 产生矩阵f
f=-e1;
% 变量限制
lb=zeros(q,1);
ub=c2*ones(q,1);
% 产生初始点x0
x0=zeros(q,1);
% 求最优解x
三、运行结果
四、matlab版本及参考文献
1 matlab版本 2014a
2 参考文献 [1] 包子阳,余继周,杨杉.智能优化算法及其MATLAB实例（第2版）[M].电子工业出版社，2016. [2]张岩,吴水根.MATLAB优化算法源代码[M].清华大学出版社，2017. [3]周品.MATLAB 神经网络设计与应用[M].清华大学出版社，2013. [4]陈明.MATLAB神经网络原理与实例精解[M].清华大学出版社，2013. [5]方清城.MATLAB R2016a神经网络设计与应用28个案例分析[M].清华大学出版社，2018.
