抽象的
虽然深度神经网络已经表现出巨大的经验成功,但仍有很大的工作来了解他们的理论属性。在本文中,我们研究了随机,宽,完全连接的前馈网络之间的关系,具有多个隐藏层和高斯过程,具有递归内核定义。我们表明,在广泛的条件下,当我们使架构越来越广,隐含的随机函数在分发到高斯过程中收敛,通过Neal(1996)到深网络,正式化和扩展现有结果。为了凭经验评估融合率,我们使用最大的平均差异。然后,在关键预测量的关键预测量方面,将有限贝叶斯深网络从文献中与高斯过程进行比较,发现在某些情况下,协议可能非常接近。我们讨论了高斯过程行为的可取性,并审查了文献中的非高斯替代模型。
作者
Alexander G. de G. Matthews,Mark Rowland,Jiri Hron,Richard E. Turner,Zoubin Ghahramani.
会议
ICLR 2018.
全文
'高斯过程在宽深神经网络中的行为。学习陈述国际会议(PDF)
优步AI.
注释