基于核独立分量分析的模糊核聚类神经网络集成方法

减小字体 增大字体 作者:李 岩 王东风 韩 璞  来源:www.zhonghualunwen.com  发布时间:2009-10-12 23:35:16

  神经网络技术由于其具有自学习、非线性模式识别、联想能力、容错性以及很强的泛函逼近能力,已在很多领域得到了成功的应用,但由于缺乏严密理论体系的指导,其应用效果往往取决于使用者的经验。1990年,Hansen和Salamon开创性地提出了神经网络集成(neural network ensemble, NNE)的方法,证明可以简单地通过训练多个神经网络并将其结果进行合成,显著地提高神经网络系统的泛化能力。该方法易于使用且效果明显,被视为一种非常有效的工程化神经计算方法。
  神经网络集成在解决高维数据的模式分类中普遍存在两方面问题:a)面对数据的大量特征信息,如何选取最具有价值、分类能力最强的特征;b)如何将多个神经网络的输出结论进行结合以及如何生成集成中的个体网络(包括如何有效地应用有限的样本集)[1]。对子系统结果的集成技术主要有多数投票法、简单平均值法、加权平均值法、基于遗传算法的进化集成技术等[2]。现有研究成果表明,当神经网络集成中的个体网络差异较大时,集成的效果较好。但如何获得差异较大的个体网络以及如何评价多个网络之间的差异度,目前仍没有较好的方法,而理论分析表明[3],对集成的个体进行必要的选择能够有效地降低神经网络集成的泛化误差。
  核独立分量分析(KICA)通过非线性映射,实现数据从输入空间到特征空间的转换;然后对映射后的数据进行ICA处理,因而具有很强的非线性处理能力。模糊核聚类(KFCM)技术利用核方法,在特征空间扩展模糊C-均值算法,对变换后的特征向量进行模糊聚类分析,使得组内对象的相似度最大而组间对象的相似度最小,从而发现对象中的内在特性。
  
  1 基于KICA的特征提取
  
  设x是原始空间Rn中可能被非线性混合的随机向量,通过映射函数Φ:x→Φ(x)∈F,映射到一个特征空间F上。假定经非线性映射后的数据在特征空间上是线性可分的,则KICA算法的目标[4,5]是在特征空间上找到一个线性解混矩阵WΦ,由式(1)恢复各个独立分量
  S=WΦΦ(x)(1)
  首先,在特征空间上对映射后的向量应用KPCA进行白化。假定Rn中的样本数据x1,x2,…,xM,在F中满足∑Mj=1Φ(xj)=0在特征空间F上的协方差算子
  CΦt=(1/M)∑Mj=1Φ(xj)Φ(xj)T(2)
  在有限维的特征空间里,也被称为协方差矩阵。令Q=[Φ(x1),Φ(x2),…,Φ(xM)],则CΦt=(1/M)QQT,构造Gram矩阵R=QTQ,为一个M×M的矩阵,可以由一给定的核函数确定。
  Rij=Φ(xi)TΦ(xj)=(Φ(xi)•Φ(xj))=k(xi,xj)(3)
  若采用高斯核函数,则
  Rij=exp(-(xi-xj)2/(2σ2))(4)
  计算R的m个最大的正特征值λ1≥λ2 ≥…≥λm相对应的正交特征向量γ1,γ2,…,γm,则CΦt的m个最大的正特征值为λ1/M,λ2/M,…,λm/M,相应的正交特征向量β1,β2,…,βm为
  βj=(1/λj)Qγj;j=1,NA1AD,m(5)
  V=(γ1,γ2,…,γm),Λ=diag(λ1,λ2,…,λm),则
  B=(β1,β2,NA1AD,βm)=QVΛ-1/2(6)
  BTCΦtB=diag(λ1/M,λ2/M,NA1AD,λm/M)=(1/M)Λ(7)
  令P=B(Λ/M)-1/2=MQVΛ-1(8)
  PTCΦtP=I(9)
  其中:P为白化矩阵。
  映射到特征空间的数据可由式(10)进行白化
     y=PTΦ(x)=MΛ-1VTQTΦ(x)=MΛ-1VT[k(x1,x),NA1AD,k(xM,x)]T=MΛ-1VTRX(10)
  在特征提取之前首先要按照以下方法进行去均值处理,令CM=(1/M)M×M为一个M×M矩阵,令C1=(1/M) M×1为一个M×1矩阵,可以对R和RX分别进行去均值处理。

[1] [2] [3] [4]  下一页

Tags:

作者:李 岩 王东风 韩 璞
  • 好的评价 如果您觉得此文章好,就请您
      0%(0)
  • 差的评价 如果您觉得此文章差,就请您
      100%(1)

文章评论评论内容只代表网友观点,与本站立场无关!

   评论摘要(共 0 条,得分 0 分,平均 0 分) 查看完整评论