抽象的
辍学，用于训练神经网络的随机正则化技术，最近被重新诠释为贝叶斯神经网络的特定类型的近似推理算法。重新解释的主要贡献在提供一种有用的理论框架，可用于分析和扩展算法。我们展示拟议的框架遭受了几个问题;从与使用不正当的前沿的真正后的未定义或病理行为，由于近似分布的奇异性相对于真正的后部的奇异性，对一个不定定的变分目标。我们对变形高斯辍学时使用的不正确的日志制服的分析表明，病理通常是不可挽回的，并且该算法仍然仅适用，因为变分制剂吞并了一些病理。为了解决奇点问题，我们提供Quasi-KL（QKL）发散，这是一种新的近似推理目标，用于近似高维分布。我们表明，基于离散化和噪声的变分Bernoulli辍学的动机使QKL为限制。在理论上和一个简单的实际例子上研究了QKL的性质，表明具有退化的QKL-最佳逼近的全排列高斯高斯的近似地导致主成分分析解决方案。
作者
亚历山大G. de G. Matthews的Jiri校友，Zoubin Ghahramani.
会议
ICML 2018.
全文
优步AI.
注释