|
|
一、 介绍
RBF神经网络模型是1988年由Moody和Darken提出的一种神经网络结构，属于前向神经网络类型，能够以任意精度逼近任意连续函数，特别适合于解决分类问题
二、 径向基函数
径向基函数是取值仅仅依赖于离原点距离的实值函数即 φ(x)=φ(||x||) （也可以是离任意点的距离，距离一般使用欧式距离[欧式径向基函数]，也可以是其他距离函数），任何满足该特性的函数都φ都叫做径向基函数，通常定义为空间中任一点x到某一中心c之间欧氏距离的单调函数
常见的径向基函数包括（定义 r=||x-c_i || [c_i 为中心点] ，σ称为径向基函数的扩展函数（方差），它反应了函数图像的宽度，σ越小，宽度越窄，函数越具有选择性）
三、 结构
RBF网络是一种三层前向网络，第一层为由信号源节点组成的输入层，第二层为隐层，隐单元数视问题需要而定，隐单元的变换函数为非负非线性的函数RBF（径向基函数），第三层为输出层，输出层是对隐层神经元输出的线性组合
四、 RBF神经网络的两种模型
1) 正则化RBF网络（通用逼近器）
径向基函数解决插值问题
RBF的方法是选择P个基函数（即径向基函数 φ(||X-X_i ||) ），每个基函数对应一个数据，则基于径向基函数的插值函数为：
其中P为样本容量
将插值条件代入得
写成向量形式即
当Φ可逆时权向量为
正则化RBF网络
完全插值存在过拟合的问题，且不适定问题大量存在（不适定即超定，基函数个数等于训练样本数，当训练样本数远远大于物理过程中的自由度时，就称问题超定，拟合函数满足解的存在性、解的唯一性、解的连续性称问题适定），为解决该问题，引入正则化RBF网络
最小化目标函数来获得逼近函数
目标函数为(Tikhonov正则化理论)：
目标函数第一项为均方误差，第二项为正则化项，其中D是一个线性微分算子，代表F(x)的先验知识，曲率大（光滑度低）的F(x)||DF||大，λ为正则化系数
最小化目标函数得到
则权向量为
其中 G(X,X_p ) 为Green函数，具体形式与算子D有关（Green函数的一个重要例子是多元Gauss函数），G为Green矩阵
正则化RBF网络的特点
1、 正则化网络是一种通用逼近器，只要有足够的节点，它可以以任意精度逼近任意多元连续函数
2、 具有最佳逼近特性，即对于任意非线性函数，总可以找到一组权值使得网络对于该函数的逼近优于所有可能选择
3、 隐节点数等于输入样本数，隐节点的激活函数为Green（格林）函数
2) 广义RBF网络（模式分类）
正则化RBF网络的训练样本与基函数是一一对应关系，在样本数很大时，网络的计算量大且权值矩阵也很大，求解时易出现病态问题，解决这个问题可以减少隐节点的个数（即隐节点个数大于样本特征数小于样本数），从而得到广义RBF神经网络
基本思想：
用径向基函数作为隐单元的“基”，构成隐层空间。隐层对输入向量进行变换，将低维空间的模式变换到高维空间中，使低维空间线性不可分的问题在高维空间内线性可分，然后用输出层来进行线性划分，完成分类功能
与正则化RBF网络的不同
1、径向基函数的个数与样本数不相等且大概率远小于样本数
2、径向基函数的中心不再限制在数据点而由训练算法确定
3、径向基函数的扩展常数不再统一而由训练算法决定
4、输出函数中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值的平均值之间的差别
五、 RBF学习算法
RBF学习的三个参数
1、 基函数的中心 c_i
2、 方差（扩展常数） σ_i
3、 隐层与输出层间的权值 w_{ij}
当采用正则化RBF网络结构时，隐节点数即样本数，基函数的数据中心即样本本身，参数设计只需考虑扩展常数和输出节点权值
当采用广义RBF网络结构时，RBF网络的学习算法需要解决的问题包括：如何确定网络隐节点数，如何确定各径向基函数的数据中心及扩展常数，以及如何修正输出权值
自组织中心选取法
1989年，Moody和Darken提出了一种由两个阶段组成的混合学习过程的思路（两个阶段即无监督的自组织学习阶段和有监督学习阶段）
无监督的自组织学习阶段
1、 中心学习
估计中心的个数h，从而确定隐节点个数（一般通过试验来确定）,并应用KMeans聚类算法确定数据中心
2、 确定扩展常数 σ_i (i=1,2,⋯,h)
其中 d_{min} 为所选取中心点的最小距离，λ为重叠系数
有监督学习阶段
3、学习权值 w_{ij}(i=1,2,⋯,h;j=1,2,⋯J),J为输出层节点数
常用LMS法（最小均方算法），伪逆法更简单
六、 RBF网络与BP网络的区别
对于任何一个BP网络，总存在一个RBF网络可以代替它，反之亦然，他们的不同点在于：
1、 RBF网络只有一个隐层，而BP网络不限制隐层的个数
2、 BP网络隐层和输出层神经元模型相同，而RBF网络不仅不同，且在网络中的作用也不同
3、 BP网络是对非线性映射的全局逼近，而RBF网络是对非线性映射的局部逼近，训练速度更快
七、 参考文档
1、 径向基函数（RBF）神经网络https://www.cnblogs.com/zhangchaoyang/articles/2591663.html
2、 深度学习 --- 径向基神经网络RBF详解https://blog.csdn.net/weixin_42398658/article/details/84342747
3、 RBF神经网络学习算法https://wenku.baidu.com/view/7399e2717b3e0912a21614791711cc7931b77894.html
4、 RBF（径向基）神经网络http://t.zoukankan.com/pinking-p-9349695.html
5、 径向基神经网络https://www.bilibili.com/video/BV1MV41167Ae?p=1&share_medium=android&share_plat=android&share_session_id=aeb08f79-b6f6-40fc-b7d3-52c650534143&share_source=WEIXIN&share_tag=s_i&timestamp=1657350457&unique_k=DWDAFbF&vd_source=3dd7865d02132a12c954c38a494b73f3
6、 RBF（径向基）神经网络https://www.cnblogs.com/pinking/p/9349695.html |
|
发表于 2022-11-27 21:03:08
