如何挑选出最优网络模型

1. 神经网络模型的选择 比如我要做预测我是选择bp 呀还是rbf 还是竞争网络呀 如果做分类又该怎样选择

具体不是很懂，但是每个神经网络有自己的优缺点，根据问题的需要灵活选择

2. 网络模型的分类

1．以物质为流量的网络模型
当网络模型中的流量内容是液体、气体，固体等物质实体时，就构成了以物质为流量的网络模型，其优化目标一般是最大流量或最小费用流量。交通运输(公路、 铁路，航空、航海)，资源调配，工业流程装置等许多实际问题，都可抽象为这类网络模型。
在图4—1的示例中，若沿连线的数字井非距离，而是相应公路能够通过的最大流量，则其就成为一种以物质为流量的网络模型。
2．以信息为流量的网络模型
以信号，数据等信息为流量的网络模型的例子，除了广播，通讯网络外，还包括有在控制过程中所采用的方框图或信流图，社会组织系统图、管理信息系统网络等。
图4-2给出了建筑企业经营预测的控制系统图。企业首先要根据生产经营的实际需要，确定预测目标和要求，据此收集有关资料，选择适宜的预测方法进行预澜，接着要分析预测结论是否合理，若不合理，或修订预捐0目标和要求，或重新选择预测方法，反之则可进入预测实施，将预测结论用于指导企业的生产经营活动，实施中可能又会遇到新的生产经营预测问题，尽而开始一个新的循环。
3．以能量为流量的网络模型
最典型的以能量为流量的网络系统，是城市电力系统和集中供热系统。图4—3给出了某城市电力网络的示意图。
4．以时间、费用、距离等为流量的网络模型
以时间为流量的网络模型，最典型的是PERT(计划评审技术)。图4·4为一表示装配式房屋施工顺序的网络图，图中，每一根箭线表示一项工作，并标明了估计的工时数。利用该网络图，可以找出整个施工过程中的最优方案，合理解决劳力安排、资金周转，缩短工期等问题。本例中的最短可能时间为66h。
图4—5所示是以费用为期望值的方案决策树，它所描述的是这样一个问题：某建筑公司在河边洼地进行某项工程的施工，工程地点过去曾受过河流涨水的影响，还遇到过破坏性的洪水泛滥。因这项工程有四个月的时间不使用设备，故需决定设备的存放方案。有三种可供选择的方案：一是运走设备，用时再运回来，总共要花费1800元，二是将设备留在工地，建造一个平台加以保护，建造平台的费用为500元。该平台可以防御大水， 但不能防御破坏性的洪水泛滥，三是将设备留在工地而不采取保护措施。

3. 网络模型的三个要素

一是表征系统组成元素的节点。
二是体现各组成元素之间关系的箭线(有时是边)。
三是在网络中流动的流量，它一方面反映了元素间的量化关系，同时也决定着网络模型优化的目标与方向。
例如，某区域的公路网络地图如图4-1(a)所示。若以节点表示城镇，节点间的连线表示公路，沿连线的数字表示距离，则可绘出图4，2(b)所示的网络模型。根据流量的性质该模型的优化方向是寻求特定城镇间的最短路径。

4. 知识蒸馏综述:网络结构搜索应用

【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。

知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中，可以被视为一种更高级的label smooth方法。soft label与hard label相比具有以下优点：

那么知识蒸馏在网络结构搜索中有什么作用呢？总结如下：

知识蒸馏在很多工作中作为训练技巧来使用，比如OFA中使用渐进收缩训练策略，使用最大的网络指导小网络的学习，采用inplace distillation进行蒸馏。BigNAS中则使用三明治法则，让最大的网络指导剩下网络的蒸馏。

目标：解决教师网络和学生网络的匹配问题（知识蒸馏中教师网络和学生网络匹配的情况下效果更好）。

在知识蒸馏中，选择不同的教师网络、不同的学生网络的情况下，最终学生网络的性能千差万别。如果学生网络和教师网络的容量相差过多，会导致学生难以学习的情况。Cream这篇文章就是为了解决两者匹配问题。

普通的SPOS方法如左图所示，通过采样单路径子网络进行训练。右图则是结合了知识蒸馏的方法，Cream提出了两个模块：

Cream中心思想是，子网络可以在整个训练过程中协作学习并相互教导，目的是提高单个模型的收敛性。

消融实验如下：

目标：通过教师引导各个block特征层的学习，根据loss大小评判各子网的性能。

这是一篇将NAS和KD融合的非常深的一个工作，被CVPR20接收。之前写过一篇文章进行讲解，这里简单回顾一下。

DNA是两阶段的one-shot NAS方法，因此其引入蒸馏也是为了取代普通的acc指标，提出了使用子网络与教师网络接近程度作为衡量子网性能的指标。

在训练的过程中，进行了分块蒸馏，学生网络某一层的输入来自教师网络上一层的输出，并强制学生网络这一层的输出与教师网络输出一致（使用MSELoss)。在搜索过程结束后，通过计算各子网络与教师网络的接近程度来衡量子网络。

目标：通过改进KL divergence防止学生over estimate或者under estimate教师网络。

上图展示了OFA,BigNAS等搜索算法中常用到的蒸馏方法，子网使用的是KL divergence进行衡量，文中分析了KL 散度存在的局限性：即避零性以及零强制性。如下公式所示，p是教师的逻辑层输出，q是学生逻辑层输出。

AlphaNet提出了一个新的散度衡量损失函数，防止出现过估计或者低估的问题。如下所示，引入了 。

其中 不为0或者1，这样如下图所示：

蓝色线对应example 2表示，当 为负值，如果q过估计了p中的不确定性， 的值会变大。

紫色线对应example 1表示，当 为正数，如果q低估了p中的不确定性， 的值会变大

同时考虑两种情况，取两者中最大值作为散度：

目标：提出了衡量学生网络和教师网络 内部激活相似度 衡量指标，通过表征匹配可以用来加速网络结构搜索。

这部分其实是属于知识蒸馏分类中基于关系的知识，构建的知识由不同样本之间的互作用构成。

具体的指标构成如上图所示，是一个bsxbs大小的矩阵，这个在文中被称为Representational Dissmilarity Matrix，其功能是构建了激活层内部的表征，可以通过评估RDM的相似度通过计算上三角矩阵的关系系数，比如皮尔逊系数。

该文章实际上也是构建了一个指标P+TG来衡量子网的性能，挑选出最优子网络。

如上图所示，RDM的计算是通过衡量教师网络的feature以及学生网络的feature的相似度，并选择选取其中最高的RDM相似度。通过构建了一组指标，随着epoch的进行，排序一致性很快就可以提高。

目标：固定教师网络，搜索最合适的学生网络。

对于相同的教师网络来说，不同的架构的学生网络，即便具有相同的flops或者参数，其泛化能力也有所区别。在这个工作中选择固定教师网络，通过网络搜索的方法找到最优的学生网络，使用L1 Norm优化基础上，选择出与教师网络KL散度差距最小的学生网络。

目标：在给定教师网络情况下，搜索最合适的学生网络。

神经网络中的知识不仅蕴含于参数，还受到网络结构影响。KD普遍方法是将教师网络知识提炼到学生网络中，本文提出了一种架构感知的知识蒸馏方法Architecture-Aware KD （AKD），能够找到最合适提炼给特定教师模型的学生网络。

Motivation: 先做了一组实验，发现不同的教师网络会倾向于不同的学生网络，因此在NAS中，使用不同的教师网络会导致模型倾向于选择不同的网络结构。

AKD做法是选择使用强化学习的方法指导搜索过程， 使用的是ENAS那种通过RNN采样的方法。

目标：从集成的教师网络中学习，并使用NAS调整学生网络模型的容量。NAS+KD+集成。

这篇文章之前也进行了讲解，是网络结构搜索，知识蒸馏，模型集成的大杂烩。

详见： https://blog.csdn.net/DD_PP_JJ/article/details/121268840

这篇文章比较有意思，使用上一步中得到的多个子网络进行集成，可以得到教师网络，然后使用知识蒸馏的方法来引导新的子网络的学习。关注重点在于：

AdaNAS受Born Again Network（BAN）启发, 提出Adaptive Knowledge Distillation（AKD)的方法以辅助子网络的训练。

集成模型选择 ：

从左到右代表四次迭代，每个迭代中从搜索空间中选择三个模型。绿色线框出的模型代表每个迭代中最优的模型，AdaNAS选择将每个迭代中最优subnet作为集成的对象。

最终集成的时候还添加了额外的weight参数w1-w4：

最终输出逻辑层如下所示：（这个w权重也会被训练，此时各个集成网络的权重是固定的，只优化w）

Knowledge Distillation

目标：解决知识蒸馏的效率和有效性，通过使用特征聚合来引导教师网络与学生网络的学习，网络结构搜索则是体现在特征聚合的过程，使用了类似darts的方法进行自适应调整放缩系数。ECCV20

文章总结了几种蒸馏范式：

最后一种是本文提出的方法，普通的特征蒸馏都是每个block的最后feature map进行互相蒸馏，本文认为可以让教师网络的整个block都引导学生网络。

具体如何将教师网络整个block中所有feature map进行聚合，本文使用的是darts的方法进行动态聚合信息。(a) 图展示的是对group i进行的可微分搜索过程。(b)表示从教师到学生的路径loss构建，使用的是CE loss。(c)表示从学生到教师网络的路径loss构建，使用的是L2 Loss。其中connector实际上是一个1x1 卷积层。

（ps: connector让人想到VID这个工作）

5. BP神经网络模型各个参数的选取问题

样本变量不需要那么多，因为神经网络的信息存储能力有限，过多的样本会造成一些有用的信息被丢弃。如果样本数量过多，应增加隐层节点数或隐层数目，才能增强学习能力。

一、隐层数
一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型，实际上就是一个线性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。因此，一般认为，应将不含隐层的网络模型归入回归分析中，技术已很成熟，没有必要在神经网络理论中再讨论之。
二、隐层节点数
在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。 目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。研究表明，隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。

6. 什么是网络模型

【概念】
计算机网络是指由通信线路互相连接的许多自主工作的计算机构成的集合体，各个部件之间以何种规则进行通信，就是网络模型研究的问题。网络模型一般是指OSI七层参考模型和TCP/IP四层参考模型。这两个模型在网络中应用最为广泛。
【要素】

一是表征系统组成元素的节点。
二是体现各组成元素之间关系的箭线(有时是边)。
三是在网络中流动的流量，它一方面反映了元素间的量化关系，同时也决定着网络模型优化的目标与方向。
【分类】

1．以物质为流量的网络模型
2．以信息为流量的网络模型
3．以能量为流量的网络模型
4．以时间、费用、距离等为流量的网络模型
{参考资料}http://ke..com/view/2814233.htm

7. (SAS中)选择最优回归模型有哪些方法

倍长中线。
其实灵活运用最好，多做题。
把截长补短想成翻折（比如有角平分线不要光想做垂直）
见到正方形、正三角形就旋转。
开阔思路，不要怕碰壁。多试试就能出来

8. 对于一个准确率不高的神经网络模型，应该从哪些方面去优化

首先你要看这是什么任务的网络，还有你数据集和任务的难度。

如果是一个简单的分类网络，你可以看一下你的损失函数用得是否正确，你的网络结构是否合适，容量太小或者太大？

样本可分性如何？样本的特征提取是否有问题，本身就不分？测试集和训练集的分布是否相似？你的标签是否正确？

然后针对这些问题来解决。

9. 神经网络:欠拟合和过拟合

以我们前面讲述的线性回归为例，比如我们在训练集上训练出最优的模型，但是当我们将其使用到测试集时，测试的误差很大，我们该怎么办？ 

我们一般采取的措施主要包括以下6种：

增加训练样本的数目（该方法适用于过拟合现象时，解决高方差。一般都是有效的，但是代价较大，如果下面的方法有效，可以优先采用下面的方式）；

尝试减少特征的数量（该方法适用于过拟合现象时，解决高方差）；

尝试获得更多的特征（该方法适用于欠拟合现象时，解决高偏差）；

尝试增加多项式特征（该方法适用于欠拟合现象时，解决高偏差）；

尝试减小正则化程度λ（该方法适用于欠拟合现象时，解决高偏差）；

尝试增加正则化程度λ（该方法适用于过拟合现象时，解决高方差）；

上面的方法不是随机选择，是在合适的情况下（过拟合和欠拟合）选择合适的方法，对于怎么判断一个模型是过拟合还是欠拟合，我们会在下面给出一些机器学习诊断法。

如何对一个假设进行评估？  

我们前面在讲述线性回归和逻辑回归时，只是注重针对训练数据集训练出一个最优的参数，但是我们训练处的模型对于测试集的性能好坏我们没有进行判断，我们只是训练的模型使得损失函数最小，我们前面也讨论过，在训练数据集上损失函数最小并不能代表对于给定的测试数据，测试数据的评估非常准确，比如过拟合现象发生时，那我们如何评价一个假设的好坏呢？ 

主要的方法包括两种： 

1.对于简答的模型，我们可以采用将hθ(x)的图像画出，来判断模型的好坏，但是这种方法对于特征变量不是一个时，这种方法很难实现或者不可能实现。例如我们曾经看到过这样的图像，可以通过hθ(x)的图像明显可以看出，该假设存在着过拟合现象。 

2.另一种评估假设的方法为：将原来的数据集分为训练集和测试集，一般我们是从原来的数据集中随机选取（保证训练集和测试集中都含有各种类型的数据）70%的数据作为训练集，剩下的30%的样本作为测试集。同时这种将原来数据集划分为训练集和测试集的方法可以用于帮助特征选择、多项式次数的选择以及正则化参数的选择等。数据集划分的过程如下： 

以上面数据集为例，选取前7个为训练集，后3个为测试集。用前7个数据集做训练训练出一个最优的模型，评价这个训练出的模型的好坏可以使用测试集来进行判断，判断的标准可以使用测试集的损失函数来进行定量的衡量。 

对于回归问题，测试集的损失函数计算公式如下： 

Jtest(θ)=12mtest∑i=1mtest(hθ(x(i)test)−y(i)test)2

而对于分类问题，测试集的损失函数计算公式如下： 

这种测量方式，如果测试样本损失函数很大，则代表训练出的模型泛化能力不好。 

对于分类问题，还有另外一种测量的方式，称为误分类率，它对于每一个测试样本进行计算，计算的公式如下： 

error=1mtest∑i=1mtesterr(hθ(x(i)test),y(i)))

其中， 

模型的选择和交叉验证集：  

上述我们是在模型选择好了之后进行训练的，也就是上述我们都是确定了假设进行训练的，但是我们怎么对模型进行选择呢，这一节我们来讨论一下模型的选择，以及和交叉验证集的关系。 

模型选择主要包括以下内容：1.怎样选择正确的特征来构造学习算法？2.怎样选择学习算法中正则化参数λ?等问题。 

首先我们结合一个例子来引出模型的选择和验证集： 

例如我们有上面十个模型，我们对于给定的数据集选择哪种模型呢？按照我们上面讨论的将数据集划分为训练集和测试集，使用训练集对上述模型进行训练，然后使用测试集来进行选择最佳的模型，比如最优的为第五个模型，但是这并不能衡量这个模型的泛化能力，因为测试集已经用于选择最优的模型，这个模型对于其他未知数据的泛化能力还是未知的。 

所以针对上述问题我们可以将数据集划分为训练集、交叉验证集和测试集。一般情况下，训练集占总样本的60%，交叉验证集占20%，测试集占20%。其中训练集用于训练，交叉验证集用于选择最优的模型，测试集用于测试模型的泛化能力。 

模型选择方法为： 

1. 使用训练集训练10个模型； 

2. 用10个模型分别对交叉验证集计算出交叉验证误差（代价函数的值），其中计算公式为： 

3. 选取交叉验证误差最小的模型作为选择的模型； 

4. 用测试集对选择出的模型计算泛化能力（测试样本的损失函数），计算公式如上文中讨论的一样。

假设对诊断偏差和方差（即过拟合还是欠拟合）的影响  

利用上述方法学习到的算法性能不好一般会有两种情况： 

1.会出现过拟合，也就是所谓的方差很大； 

2.会出现欠拟合，也就是所谓的偏差很大； 

首先应该确定算法性能的不好，是由哪种原因造成的，然后针对不同的情况采取不同的改进策略，可以有效的改进当前的算法。下面我们来讲述一下怎么判断是过拟合还是欠拟合。 

以下面例子为例，来进行讨论： 

我们可以通过绘制出训练集的代价函数和交叉验证验证集的代价函数与方次d的关系来进行判断是上述哪种情况的一种： 

对于训练集，当d较小时，模型的拟合程度不是很好，所以训练样本集的代价函数比较大；随着d的增加，模型的拟合程度不断提高，代价函数不断的减小； 

对于交叉验证集，由于d比较小时，模型的拟合程度不是很好，对于新来的样本预测结果会偏差很大，所以交叉验证集的代价函数在初始阶段会很大，而随着d的增加会出现一个比较好的方次d，使得模型的拟合程度最佳，同时对于新来的样本泛化能力很强，所以会有一个代价函数最小的点出现（该转折点即是模型开始由欠拟合转向过拟合的点），随后随着d的增加，由于过拟合，会存在对新的样本预测结果不良的现象，所以代价函数会逐渐增大。 

当我们绘制出上述曲线时，我们就可以判断出什么时候是过拟合什么时候欠拟合，判断的标准如下： 

1. 当训练误差与交叉验证集误差接近时，并且都很大时，该模型高偏差（欠拟合）； 

2. 当训练误差远小于验证集误差时，并且训练误差很小时，该模型高方差（过拟合）。 

判断出该模型是过拟合或者欠拟合之后，然后使用上述提到的过拟合和欠拟合的解决方法，对算法进行改进。

正则化对偏差和方差的影响  

我们前面讲述过正则化可以有效的处理过拟合现象，但是我们上述所说的处理过拟合是在合适的λ情况下，那么λ值的大小对模型的性能是怎样影响的呢？我们采用上述与方次d对性能的影响相同的方式来分析λ的值对性能的影响。 

我们首先选择一系列的λ值，通常λ的选择是0~10之间呈现二倍关系的值（如：0，0.01，0.02，0.04，0.08，0.15，0.32，0.64，1.28，5.26，5.12，10） 

构建方式如下： 

选择λ的方法如下： 

1.使用训练集训练处12个不同程度正则化模型； 

2.用12个模型分别对交叉验证集计算出交叉验证误差； 

3.选择得出交叉验证误差最小的模型； 

4.运用步骤3选出的模型对测试集计算得出推广误差

我们同样可以将训练集和交叉验证集模型的代价函数与λ的值绘制在一张图上。对于训练集、验证集和测试集的代价函数计算公式为： 

需要注意的是，当计算训练集、交叉验证集和测试集误差时，不计算正则项，然后绘制出训练集和交叉验证集代价函数与λ值的关系，如下图所示： 

1. 当λ较小时，训练误差较小（过拟合）而交叉验证集误差较大； 

2. 随着λ的增加（从过拟合到欠拟合的过程），训练集误差逐渐增大（欠拟合），而交叉验证集误差则是先减小后增大。

学习曲线  

学习曲线也是一种可以判断算法是否处于过拟合还是欠拟合的情况，学习曲线是将训练集误差和交叉验证集误差作为训练集实例数量（m）的函数绘制的图像。学习曲先不仅可以帮助我们是不是处于过拟合或者欠拟合，它还可以帮助我们判断是否为了提高算法的性能需要我们收集多的数据。 

假设我们有100行数据，我们从第一行数据开始，逐渐增加数据进行训练，得到每次训练数据的代价函数值。当数据很少时，训练模型能够非常完美的拟合很少的数据，但是训练出的模型却不能泛化其他的数据，所以当数据很少时，训练集的代价函数很小，但是交叉验证集的代价函数很大，随着样本的增加，训练集的代价函数逐渐增大，交叉验证集的代价函数逐渐减小。绘制的曲线如下图所示： 

1. 如何用学习曲线识别欠拟合： 

假设我们的模型处于欠拟合的情况下，拟合曲线如下图所示： 

我们可以看出，无论我们怎样增加样本数据，误差都不会有很大改观。同时在欠拟合的情况下，会出现随着样本的增加，训练集代价函数和交叉验证集代价函数都很大的情况，在这种情况下，就没有必要花费时间在收集数据上了，同时这也是一种判断模型是过拟合还是欠拟合的方法。 

2. 如何使用学习曲线识别过拟合： 

假设我们有一个非常高次的多项式模型（比如最高次项达到100次），并且正则化非常小时，从下图可以看出，当交叉验证集误差远大于训练集误差时，往训练集增加更多数据可以提高模型的效果。 

对于过拟合现象时，会出现训练集代价函数一直都很小（虽然是增加的趋势），但是验证集的损失函数会很大（虽然是减小的趋势），同时训练集代价函数和验证集代价函数相差会很大，可以使用这种方法来判断该模型处于过拟合阶段。

对于神经网络我们在讨论一下过拟合和欠拟合现象：  

使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合，但是计算代价小；使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算代价比较大，但是可以通过正则化手段来调整而更加适应数据。 

对于 神经网络的模型选择 ：我们一般选择较大的神经网络并采用正则化处理，而不会选择较小的神经网络。 

对于 神经网络隐藏层的层数选择 ，一般我们从一层开始逐渐增加层数，为了更好的选择出最佳的层数，可以针对不同隐藏层层数的神经网络进行训练，然后选择交叉验证集代价函数最小的神经网络。

10. 如何建立某一问题的网络优化模型么

运筹学我不懂，但是目前的gsm和wcdma等无限接入网的络优化我了解一点。
是指通过对正在运行的网络进行数据的采集，然后分析数据。根据数据找出问题，然后调整网络设备（基站或msc/sgsn）和参数使网络性能和收益达到最佳，也就是说性价比最高。
准备测试工具-----确定优化网络的区域-----指定测试路线----测试数据---分析数据---写报告---调整参数和设备
通信网络优化大概是这样的。希望对你有帮助