竞争神经网络和som哪个好

A. 神经网络Kohonen模型

一、Kohonen模型概述

1981年芬兰赫尔辛基大学Kohonen教授提出了一个比较完整的，分类性能较好的自组织特征影射(Self-Organizing Feature Map)人工神经网络(简称SOM网络)方案。这种网络也称为Kohonen特征影射网络。

这种网络模拟大脑神经系统自组织特征影射功能，它是一种竞争式学习网络，在学习中能无监督地进行自组织学习。

二、Hohonen模型原理

1.概述

SOM网络由输入层和竞争层组成。输入层神经元数为N，竞争层由M=R×C神经元组成，构成一个二维平面阵列或一个一维阵列(R=1)。输入层和竞争层之间实现全互连接。

SOM网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并对那些与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整，这一获胜神经元就表示对输入模式的分类。

SOM算法是一种无教师示教的聚类方法，它能将任意输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。即在无教师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来。此外，网络通过对输入模式的反复学习，可以使连接权矢量空间分布密度与输入模式的概率分布趋于一致，即连接权矢量空间分布能反映输入模式的统计特征。

2.网络权值初始化

因为网络输入很可能出现在中间区，因此，如果竞争层的初始权值选择在输入空间的中间区，则其学习效果会更加有效。

3.邻域距离矩阵

SOM网络中的神经元可以按任何方式排列，这种排列可以用表示同一层神经元间的Manhattan距离的邻域距离矩阵D来描述，而两神经元的Manhattan距离是指神经元坐标相减后的矢量中，其元素绝对值之和。

4.Kohonen竞争学习规则

设SOM网络的输入模式为X_p=(

，

，…，

)，p=1，2.…，P。竞争层神经元的输出值为Y_j(j=1，2，…，M)，竞争层神经元j与输入层神经元之间的连接权矢量为

W_j=(w_j1，w_j2，…，w_jN)，j=1，2，…，M。

Kohonen网络自组织学习过程包括两个部分：一是选择最佳匹配神经元，二是权矢量自适应变化的更新过程。

确定输入模式X_p与连接权矢量W_j的最佳匹配的评价函数是两个矢量的欧氏距离最小，即

，j=1，2，…，M，]]

g，确定获胜神经元g。

d_g=m_jin(d_j)，j=1，2，…，M。

求输入模式X_p在竞争层的获胜神经元g及其在邻域距离nd内的神经元的输出。

中国矿产资源评价新技术与评价新模型

d_gm为邻域距离矩阵D的元素，为竞争层中获胜神经元g与竞争层中其它神经元的距离。

求输入模式X_p在竞争层的获胜神经元g及其在邻域距离nd内的神经元的权值修正值。

中国矿产资源评价新技术与评价新模型

式中：i=1，2，…，N；

lr为学习速率；

t为学习循环次数。

Δw_jt(t+1)的其余元素赋值为0。

进行连接权的调整

w_ji(t+1)=w_ji(t)+Δw_ji(t+1)。

5.权值学习中学习速率及邻域距离的更新

(1)SOM网络的学习过程分为两个阶段

第一阶段为粗学习与粗调整阶段。在这一阶段内，连接权矢量朝着输入模式的方向进行调整，神经元的权值按照期望的方向在适应神经元位置的输入空间建立次序，大致确定输入模式在竞争层中所对应的影射位置。一旦各输入模式在竞争层有了相对的影射位置后，则转入精学习与细调整阶段，即第二阶段。在这一阶段内，网络学习集中在对较小的范围内的连接权进行调整，神经元的权值按照期望的方向在输入空间伸展，直到保留到他们在粗调整阶段所建立的拓扑次序。

学习速率应随着学习的进行不断减小。

(2)邻域的作用与更新

在SOM网络中，脑神经细胞接受外界信息的刺激产生兴奋与抑制的变化规律是通过邻域的作用来体现的邻域规定了与获胜神经元g连接的权向量W_g进行同样调整的其他神经元的范围。在学习的最初阶段，邻域的范围较大，随着学习的深入进行，邻域的范围逐渐缩小。

(3)学习速率及邻域距离的更新

在粗调整阶段，

学习参数初始化

最大学习循环次数 MAX_STEP1=1000，

粗调整阶段学习速率初值 LR1=1.4，

细调整阶段学习速率初值 LR2=0.02，

最大邻域距离 MAX_ND1=Dmax，

Dmax为邻域距离矩阵D的最大元素值。

粗调阶段

学习循环次数step≤MAX_STEP1，

学习速率lr从LR1调整到LR2，

邻域距离nd 从MAX_ND1调整到1，

求更新系数r，

r=1-step/MAX_STEP1，

邻域距离nd更新，

nd=1.00001+(MAX_ND1-1)×r。

学习速率lr更新，

lr=LR2+(LR1-LR2)×r。

在细调整阶段，

学习参数初始化，

最大学习循环次数 MAX_STEP2=2000，

学习速率初值 LR2=0.02，

最大邻域距离 MAX_ND2=1。

细调阶段

MAX_STEP1＜step≤MAX_STEP1+MAX_STEP2，

学习速率lr慢慢从LR2减少，

邻域距离nd设为1，

邻域距离nd更新，

nd=MAX_ND2+0.00001。

学习速率lr更新，

lr=LR2×(MAX_STEP1/step)。

6.网络的回想——预测

SOM网络经学习后按照下式进行回想：

中国矿产资源评价新技术与评价新模型

Y_j=0，j=1，2，…，M，(j≠g)。

将需要分类的输入模式提供给网络的输入层，按照上述方法寻找出竞争层中连接权矢量与输入模式最接近的神经元，此时神经元有最大的激活值1，而其它神经元被抑制而取0值。这时神经元的状态即表示对输入模式的分类。

三、总体算法

1.SOM权值学习总体算法

(1)输入参数X[N][P]。

(2)构造权值矩阵W[M][N]。

1)由X[N][P]求Xmid[N]，

2)由Xmid[N]构造权值W[M][N]。

(3)构造竞争层。

1)求竞争层神经元数M，

2)求邻域距离矩阵D[M][M]，

3)求矩阵D[M][M]元素的最大值Dmax。

(4)学习参数初始化。

(5)学习权值W[M][N]。

1)学习参数学习速率lr，邻域距离nd更新，分两阶段：

(i)粗调阶段更新；

(ii)细调阶段更新。

2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(i)求X[N][p]与W[m][N]的欧氏距离dm；

(ii)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

3)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其在邻域距离nd内的神经元的输出Y[m][p]。

4)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其

在邻域距离nd内的神经元的权值修正值ΔW[m][N]，

从而得到输入模式X[N][p]产生的权值修正值ΔW[M][N]。

5)权值修正W[M][N]=W[M][N]+ΔW[M][N]。

6)学习结束条件：

(i)学习循环到MAX_STEP次；

(ii)学习速率lr达到用户指定的LR_MIN；

(iii)学习时间time达到用户指定的TIME_LIM。

(6)输出。

1)学习得到的权值矩阵W[M][N]；

2)邻域距离矩阵D[M][M]。

(7)结束。

2.SOM预测总体算法

(1)输入需分类数据X[N][P]，邻域距离矩阵D[M][M]。

(2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。

1)求X[N][p]与W[m][N]的欧氏距离dm；

2)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(3)求获胜神经元win[p]在竞争层排列的行列位置。

(4)输出与输入数据适应的获胜神经元win[p]在竞争层排列的行列位置，作为分类结果。

(5)结束。

四、总体算法流程图

Kohonen总体算法流程图见附图4。

五、数据流图

Kohonen数据流图见附图4。

六、无模式识别总体算法

假定有N个样品，每个样品测量M个变量，则有原始数据矩阵：

X=(x_ij)_N×M，i=1，2，…，N，j=1，2，…，M。

(1)原始数据预处理

X=(x_ij)_N×M处理为Z=(z_ij)_N×M，

分3种处理方法：

1)衬度；

2)标准化；

3)归一化。

程序默认用归一化处理。

(2)构造Kohonen网

竞争层与输入层之间的神经元的连接权值构成矩阵W_Q×M。

W_Q×M初始化。

(3)进入Kohonen网学习分类循环，用epoch记录循环次数，epoch=1。

(4)在每个epoch循环中，对每个样品n(n=1，2，…，N)进行分类。从1个样品n=1开始。

(5)首先计算输入层的样品n的输入数据z_nm(m=1，2，…，M)与竞争层Q个神经元对应权值w_qm的距离。

(6)寻找输入层的样品n与竞争层Q个神经元的最小距离，距离最小的神经元Win[n]为获胜神经元，将样品n归入获胜神经元Win[n]所代表的类型中，从而实现对样品n的分类。

(7)对样品集中的每一个样品进行分类：

n=n+1。

(如果n≤N，转到5。否则，转到8。)

(8)求分类后各神经元所对应的样品的变量的重心，用对应的样品的变量的中位数作为重心，用对应的样品的变量的重心来更新各神经元的连接权值。

(9)epoch=epoch+1；

一次学习分类循环结束。

(10)如果满足下列两个条件之一，分类循环结束，转到11；

否则，分类循环继续进行，转到4。

1)全部样品都固定在某个神经元上，不再改变了；

2)学习分类循环达到最大迭代次数。

(11)输出：

1)N个样品共分成多少类，每类多少样品，记录每类的样品编号；

2)如果某类中样品个数超过1个，则输出某类的样品原始数据的每个变量的均值、最小值、最大值和均方差；

3)如果某类中样品个数为1个，则输出某类的样品原始数据的各变量值；

4)输出原始数据每个变量(j=1，2，…，M)的均值，最小值，最大值和均方差。

(12)结束。

七、无模式识别总体算法流程图

Kohonen无模式总体算法流程图见附图5。

B. bp神经网络和som神经网络的区别

结构层不一样。
1、SOM是一种比较简单的神经网络，只有一层神经网络。
2、BP网络具有三层结构。

C. som神经网络中竞争层神经元数目怎么确定

输出层神经元数量设定和训练集样本的类别数相关，但是实际中我们往往不能清除地知道有多少类。如果神经元节点数少于类别数，则不足以区分全部模式，训练的结果势必将相近的模式类合并为一类；相反，如果神经元节点数多于类别数，则有可能分的过细，或者是出现“死节点”，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过更新。
不过一般来说，如果对类别数没有确定知识，宁可先设定较多的节点数，以便较好的映射样本的拓扑结构，如果分类过细再酌情减少输出节点。“死节点”问题一般可通过重新初始化权值得到解决。

D. 神经网络中Belief Net和标准的神经网络有什么区别

这两个概念实际上是互相交叉的，例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。BP神经网络是ANN人工神经中的一种，常用的神经网络有BP、RBF、SOM、Hopfield等等，其功能不经相同，可总体来说ANN的主要功能是模式识别和分类训练。最本质的区别可以说是学习方法不同，或者说模型的优化方法不同。前者应该是基于遗传算法进行网络权值的学习，而后者大都是采用反向传播（BP）算法进行权值学习，而这两种算法差异很大。建议你分别了解：

E. 自组织映射SOM(Self Organizing Map)

自组织映射Self Organizing Map （SOM）属于无监督学习（Unsupervised Learning）神经网络的一类，一般用于特征识别。简单来说，SOM就是把一系列高维数据集映射成低维的离散数据集（通常是二维或者一维），而映射后的数据集通常会以拓扑图的形式表示，常见的比如n*n的网格/坐标图，每个cell或node代表一类数据向量，cell或node越相近表示两类数据越接近。

所以SOM通常可以运用在聚类问题中，可以将数据集中相似的数据以可视化的方式聚集起来。例如对一些股票进行可视化聚类：

所谓自组织self organizing涉及到一下几个环节：

其中 为learning rate， 为neighbourhood函数。

为参数， 指“相邻的半径”， 为迭代次数。

F. 神经网络中SOM和SOFM区别

个人认为是一样的

G. 数据可视化——四种非线性降维方式

非线性降维，计算数据集中每行与其他行的距离（默认为欧氏距离）转换为概率。
PCA属于线性降维，不能解释复杂多项式之间的关系，t-SNE是根据t分布随机领域的嵌入找到数据之间的结构特点。原始空间中的相似度由高斯联合概率表示，嵌入空间的相似度由“学生t分布”表示。
加载所需包

第一步：计算数据集中每行与其他行的距离（默认为欧式距离），转换为概率向量；
第二步：对每一行重复操作，得到概率矩阵；
第三步：沿两条新轴用学生t分布对数据随机化；
第四步：逐渐迭代，通过最小化KL散度，使得二维空间的新概率矩阵尽可能接近原高维空间。

较于正态分布，使用t分布能更好地分散可能的数据簇，更易识别；基于所实现的精度，将t-SNE与PCA和其他线性降维模型相比，结果表明t-SNE能够提供更好的结果,这是因为算法定义了数据的局部和全局结构之间的软边界。
缺点：不能保留全局结构、.计算量较大、不可预测新数据、无法像PCA一样投影新数据、簇间距离意义不大。

dims ：参数设置降维之后的维度，默认值为2
perplexity：控制距离转化为概率的分布：局部结构 5-30-50 全局结构，取值小于 (nrow(data) - 1)/ 3，数据集越大，需要参数值越大;
theta：权衡速度与精度，取值越大，精度越低。精确 0-0.5-1 最快，默认值0.5；
eta：学习率，越少越精确，越多迭代次数越少，默认值200；
max_iter：最多迭代次数，默认值1000。

真假钞数据,将banknote数据集去掉Status标签列后赋值给 bn.tsne

可视化

查看每个特征的降维效果图：

https://www.jianshu.com/p/824be2661d42

假设数据分布在流形上，并沿着流形测量行间距离，利用流形学和投影技术达到降维目的。

第一步，计算高维空间中的点之间的距离，将它们投影到低维空间，并计算该低维空间中的点之间的距离；
第二步，使用随机梯度下降来最小化这些距离之间的差异。

相较于 t-SNE ，计算量较小、可预测新数据、确定性算法、保留双结构

n_neighbors：控制模糊搜索区域的半径：更少邻域 到 更多邻域;
min_dist：低维下允许的行间最小距离：更集中 到 更分散；
metric：选择距离的测度方法：欧氏距离、曼哈顿距离等；
n_epochs：优化步骤的迭代次数。

数据框包含4个变量，50个观测。
Murder：每十万人中因谋杀逮捕人数
Assault：每十万人中因攻击逮捕人数
UrbanPop：城镇人口百分比
Rape：每十万人中因强奸逮捕人数

根据umap1的大小将数据分簇，并设置不同的颜色：

设定 n_components = 3， 再运行 UMAP，将得到结果的 layout 部分传递给 ggpairs()。

as.data.frame() %>%
setNames(c("umap1", "umap2")) %>%
GGally::ggpairs() +
theme_bw()

https://www.jianshu.com/p/ffe8a7e1e5a0

是一种自组织（竞争型）神经网络，用两个维度来表示一个数据集，使相似的行更靠近。将距离小的个体集合划分为同一类别，距离大的个体集合划分为不同类别。
相较于K-means，SOM无需预先提供聚类数量。

SOM 与 LLE 的优点：非线性还原算法、新数据可以映射到SOM上、训练成本相当不高、LLE算法可重复。

SOM 与 LLE 的缺点：

1.输入层网络：输入层网络节点与数据集同行数，同列数，但数据集需要归一化。
2.输出层网络：一般根据数据集的维度来构建输出层网络。
（例：二维情况，希望分为4类，输出层可设计为4*2的矩阵）
3.随机给每个节点分配权重
根据输入层的数据集的维度和输出层的的预估分类数，定义权重节点的维度。
（例：数据集是二维的，权重的行数就定为2，分4类，权重的列数就选4。权重值一般给定一个0-1之间的随机值）
4.随机选择一行，并计算其与网格中每个节点权重的距离（相似度，通常为欧式距离），把此行放到权重与该行距离最小的节点中（BMU，best matching unit）。
5.更新BMU（基本思想是：越靠近优胜节点，更新幅度越大；越远离优胜节点，更新幅度越小）及其邻域内节点的权重（取决于邻域函数）。
6.重复步骤3-5，迭代指定次数。

LLE是广泛使用的图形图像降维方法，属于流形学习(Manifold Learning)的一种，实现简单，其假设数据在较小的局部是线性的，也就是说，某一个数据可以由它邻域中的几个样本来线性表示。（LLE 非常适合处理卷起或扭曲状的数据，但不能是闭合流形，不能是稀疏的数据集，不能是分布不均匀的数据集等等，这限制了它的应用。）

1.计算行间距，设定超参数k。
2.对一行选出其最近的k行，表示为其线性组合，该线性组合系数为权重。
3.对每行重复操作，使得数据在2或3维空间中（近乎）保持该线性组合关系。

优点：可以学习任意维的局部线性的低维流形、计算复杂度相对较小、实现容易。
缺点：算法对最近邻样本数的选择敏感，不同的最近邻数对最后的降维结果有很大影响。

除了维数，k （近邻数量）是唯一需要确定的超参数，K可以通过函数计算出来：calc_k()
① m 表示维数，通常2 或 3
② kmin，kmax 决定 k 取值域
③ parallel，是否多核运行，默认为否
④ cpus 指定使用 cpu 核数

设置列名

检查缺失值

3D图形展示

让3D图像可以用鼠标转动

找出使rho最小的K值

使用最优的K值，降维：

H. SOM是怎样一种模型

SOM是一种可以用于聚类的神经网络模型。
- Matlab的神经网络工具箱里面有：Cluster Data with a Self-Organizing Map
- Wikipedia的解释也很不错：Self-organizing map

SOM是一个单层的神经网络。
神经元采用竞争的方式激活，每个神经元有一个权值向量，输入向量会激活与之最接近的神经元，这个神经元叫做获胜神经元(winner)。

所有的神经元组织成一个网格，网格可以是六边形、四边形……，甚至是链状、圆圈……
这个随便自己设定。
网络的结构通常取决于输入的数据在空间中的分布

I. 神经网络里的 线性层 竞争层 有啥区别

神经网络有很多种。有BP，SOM，ART1,ART2等等。有有师教导如BP，有无师教导如SOM,ART1，ART2。你说的竞争层属于无师教导。基本上是经过向量的运算后取欧氏距离然后处理，一个是线性的一个是平面的。你要具体了解可以买相关书籍里面会有详细的介绍，具体参看SOM模型和ART1型网。

J. 第五章 神经网络

神经网络 ：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分便是 神经元模型 。
M-P神经元模型：

感知机由两层神经元组成，分别为输入层、输出层。

以下是具体过程：

多层神经网络的拓扑结构如图：

如上图可知，多层网络由输入层、隐含层和输出层组成，顶层是输出层，底层是输入层，中间的便是隐含层。隐含层与输出层都具有功能神经元。
多层前馈神经网络的结构需要满足：
1、每层神经元必须与下一层完全互连
2、神经元之间不存在同层连接
3、神经元不可跨层连接

只需包含一个足够多神经元的隐层，就能以任意精度逼近任意复杂度的连续函数

BP神经网络由于学习能力太强大比较荣誉造成过拟合问题，故有两种策略来减缓过拟合的问题：
1、早停：将数据分成训练集和验证集，训练集学习，验证集评估性能，在训练过程中，若训练集的累积误差降低，而验证集的累积误差提高，则终止训练；
2、引入正则化：其基本思想是在误差目标函数中增加一个用于描述网络复杂程度的部分，有如连接权和阈值的平方和：

其中λ∈（0,1）用于对累积经验误差与网络复杂度这两项进行折中，常通过交叉验证法来估计。

神经网络的训练过程可看作一个参数寻优的过程，即寻找到适当的参数使得E最小。于是我们时常会谈及“全局最小”和“局部最小”。
1、全局最小：即全局最小解，在参数空间中，所有其他点的误差函数值均大于该点；
2、局部最小：即局部最小解，在参数空间中，其邻近的点的误差函数值均大于该点。

我们要达到局部极小点，很容易，只要满足梯度为零的点便是了，局部极小点可以有多个，但全局最小点只有一个。显然，我们追求的是全局最小，而非局部极小，于是人们通常采用以下策略来试图“跳出”局部极小，使其接近全局最小：
1、以多组不同参数值初始化多个神经网络，按标准方法训练，在迭代停止后，取其中误差最小的解作为最终参数；
2、使用随机梯度下降（在计算梯度时加入了随机因素），使得在局部最小时，计算的梯度仍可能不为0，从而可能跳出局部极小，继续进行迭代；
3、“模拟退火”技术，在每一步都以一定的概率接受比当前解更差的结果，但接受“次优解”的概率要随着迭代进行，时间推移而逐渐减低以确保算法的稳定。

1、RBF网络
单隐层前馈神经网络 ，使用径向基函数作为隐层神经元激活函数，输出层是对隐层神经元输出的线性组合。RBF网络可表示为：

2、ART网络
竞争型学习 （神经网络中一种常用的 无监督学习 策略）,由 比较层、识别层、识别阈值和重置模块 组成。接收到比较层的输入信号后，识别层神经元相互竞争以产生获胜神经元，最简单的方式就是计算输入向量与每个识别层神经元所对应的模式类代表向量间的距离，距离小者获胜。若获胜神经元对应的代表向量与输入向量间 相似度大于识别阈值 ，则将输入样本归为该代表向量所属类别，网络 连接权 也会进行 更新 以保证后面接收到相似的输入样本时该模式类会计算出更大的相似度，使得这样的样本能够归于一类；如果 相似度不大于识别阈值 ，则 重置模块 会在 识别层 加一个神经元，其 代表向量 就 设置 为当前 输入向量 。
3、SOM网络
竞争型学习的无监督神经网络 ，将高维输入数据映射到低维空间（通常是二维），且保持输入数据在高维空间的拓扑结构。
4、级联相关网络
结构自适应网络 。

5、Elman网络
递归神经网络 。

6、Boltzmann机
基于能量的模型，其神经元分为显层与隐层，显层用于数据输入输出，隐层被理解为数据的内在表达。其神经元皆为布尔型，1为激活，0为抑制。

理论上，参数越多的模型其复杂程度越高，能完成更加复杂的学习任务。但是复杂模型的训练效率低下，容易过拟合。但由于大数据时代、云计算，计算能力大幅提升缓解了训练效率低下，而训练数据的增加则可以降低过拟合风险。
于是如何增加模型的复杂程度呢？
1、增加隐层数；
2、增加隐层神经元数.
如何有效训练多隐层神经网络？
1、无监督逐层训练：每次训练一层隐节点，把上一层隐节点的输出当作输入来训练，本层隐结点训练好后，输出再作为下一层的输入来训练，这称为预训练，全部预训练完成后，再对整个网络进行微调。“预训练+微调”即把大量的参数进行分组，先找出每组较好的设置，再基于这些局部最优的结果来训练全局最优；
2、权共享：令同一层神经元使用完全相同的连接权，典型的例子是卷积神经网络。这样做可以大大减少需要训练的参数数目。

深度学习 可理解为一种特征学习或者表示学习，是通过 多层处理 ，逐渐将初始的 低层特征表示 转化为 高层特征表示 后，用 简单模型 即可完成复杂的分类等 学习任务 。