新的网站优化方法

传统的神经网络集成

一般咱们说的「集成」（ensemble），就是组合若干不同的模型，让它们根据相同的输入做出猜测，接着经过某种均匀化办法决议集成模型的终究猜测。这个决议过程可能是经过简略的投票或取均值，也可能是经过另一个模型，该模型根据集成模型的成果，学习猜测正确值或标签。岭回归是一种可以组合若干个不同猜测的成果的办法，Kaggle 上卫星数据辨认热带雨林比赛的冠军就运用过这一办法。

快照集成是在每次学习率周期结尾保存模型，然后在猜测时运用。

集成应用于深度学习时，组合若干网络的猜测以得到一个终究的猜测。一般，运用好几个不同架构的神经网络比较好，由于不同架构的网络一般会在不同的练习样本上犯错，因而集成的收益会更大。

快照集成运用周期性学习率退火

当然，你也可以集成同一架构的模型，或许作用会出人意料的好。就比如这篇快照集成的论文，作者在练习同一个网络的过程中保存了不同的权值快照，然后在练习之后创立了同一架构、不同权值的集成网络。这么做可以提高测验的体现，一起也超省钱——由于你只需求练习一个模型、练习一次就好，只需记得随时保存权值就行。

你可以仔细阅读下文章开始说到的那篇 Vitaly Bushaev 的关于学习率的文章。假如你到目前为止还没有尝试过周期性学习率，那你真该去试试，它正在成为当时作用最好的、也最规范的做法，它简略易上手，核算量很轻，可以说十分事半功倍了。

上文罗列的所有比如都是模型空间内的集成。组合若干模型，接着运用这些模型的猜测以得到终究的猜测成果。

而本文我想给咱们介绍的论文中，作者提出了一种全新的权值空间内的集成。该办法经过组合同一网络在练习的不同阶段的权值得到一个集成，接着运用组合的权值做出猜测。这种办法有两个优点：

组合权重后，咱们终究依然得到一个模型，这有利于加速猜测。事实证明，这种办法胜过当时最先进的快照集成。

在了解这一办法是怎么作业之前，咱们首要需求了解丢失平面（loss surface）和泛化的解（generalizable solution）。

权重空间内的解

榜首个不得不说到的是，经过练习的网络是高维权值空间中的一个点。对给定的架构而言，每个不同的网络权值组合都代表了一个不同的模型。任何给定架构都有无量的权重组合，因而有无量多的解。练习神经网络的目标是找到一个特定的解（权值空间中的点），使得练习数据集和测验数据集上的丢失函数的值都比较低。

在练习期间，练习算法经过改动权值来改动网络并在权值空间中周游。梯度下降算法在一个丢失平面上周游，该平面的海拔为丢失函数的值。

窄极值和宽极值

率直的讲，可视化并了解高维权值空间的几许特性十分困难，但咱们又不得不去了解它。由于随机梯度下降的实质是，在练习时穿过这一高维空间中的丢失平面，企图找到一个良好的解——丢失平面上的一个丢失值较低的「点」。不过后来咱们发现，这一平面有许多部分极值。但这些部分极值并不都有相同好的性质。

Geoffery Hinton：「为了处理一个 14 维空间中的超平面，可视化了一个 3 维空间，并对自己大声说『十四』。每个人都是这样做的。」（出处：coursera 课程）

宽的极值和窄的极值。宽的部分极小值在练习和测验过程中发生类似的丢失；但关于窄的部分极小值而言，练习和测验中发生的丢失就会有很大区别。这意味着，宽的极值比窄的极值有更好的泛化性。

平整度可以用来衡量一个解的好坏。其间的原理是，练习数据集和测验数据聚会发生类似但不尽相同的丢失平面。你可以将其幻想为测验平面相对练习平面而言平移了一点。对窄的解来说，一个在测验的时分丢失较低的点可能由于这一平移发生变为丢失较高的点。这意味着窄的（尖利的）解的泛化性不好——练习丢失低，测验丢失高。另一方面，关于宽的（平整的）解而言，这一平移形成的练习丢失和测验丢失间的差异较小。

我解说了两种解决方案之间的区别，是由于这篇论文的提出的办法、也是我这篇文章要点介绍的办法，就能带来讨人喜欢的、宽的（平整的）解。

快照集成（Snapshot Ensembling）

开始，SGD 会在权值空间中跳出一大步。接着，由于余弦退火，学习率会逐步降低，SGD 将逐步收敛于某个部分解，算法将保存一个模型的「快照」，把它参加集成模型。接着学习率重置为高值，SGD 再次迈一大步，找到另一个部分极值，以此类推。

快照集成的周期长度为 20 到 40 个 epoch。较长的学习率周期是为了在权值空间中找到满足具有差异化的模型，以发挥集成的优势。假如模型太类似，那么集成模型中不同网络的猜测将会过于接近，以至于集成并不会带来多大益处了。

快照集成体现优异，提高了模型的体现，但快速几许集成作用更好。

快速几许集成（Fast Geometric Ensembling，FGE）

《DNNs 的丢失外表、形式连接和快速集成》中提出的快速几许集成 FGE 和快照集成十分像，可是也有一些共同的特点。它们的不同主要有两点。榜首，快速几许集成运用线性分段周期学习率规划，而不是余弦改变。第二，FGE 的周期长度要短得多——2 到 4 个 epoch。乍一看咱们必定直觉上觉得这么短的周期是不对的，由于每个周期完毕的时分的得到的模型互相之间离得太近了，这样得到的集成模型没有什么优势。但是作者们发现，在满足不同的模型之间，存在着丢失较低的连通途径。咱们有时机沿着这些途径用较小的步长跋涉，一起这些模型也可以有满足大的差异，满足发挥集成的优势。因而，相比快照集成， FGE 体现更好，搜索模型的步长更小（这也使其练习更快）。

FGE 沿着这些途径保存快照，然后创立快照的集成。

要从快照集成或 FGE 中获益，需求存储多个模型，接着让每个模型做出猜测，之后加以均匀以得到终究猜测。因而，咱们为集成的额定体现支付了更高的算力价值。所以天下没有免费的午饭。真的没有吗？这就是随机加权均匀的用武之地了。

成都全网推广－了解更多此方面的朋友请登陆：http://www.cdhrkj.com/！这里有更多的惊喜等着您！