预印本论文网站Arxiv.org日前挂出一篇题为“Deep learning systems as complex networks”的论文,以深度信念网络为例,详叙了为什么网络科学是揭秘深度学习黑盒的重要一步。
摘要
凭借大型数据集和超强的计算能力,深度学习算法可以通过多层次的抽象来学习数据表征。
这些机器学习方法推进了许多颇具挑战性的认知任务,比如对象识别、语音处理、自然语言理解与机器翻译。尤其是深度信念网络(Deep Belief Networks),它可以通过使用类似神经可塑性原理(hebbian theory)的学习机制找出数据的生成模型,以无监督的方式发现大型数据集中复杂的统计结构。尽管这些自组织的神经网络系统可以在统计力学(statistical mechanisms)框架内很容易被形式化,但它们仍然是黑箱,因为其发生涌现的动力学无法分析。
在本文中,我们建议使用复杂网络(complex networks)来研究深度信念网络,以便对神经网络在学习过程中产生的计算图的结构和功能性质有所了解。
关键词:网络理论,人工神经网络,深度信念网络,多层生成模型,机器学习,图分析
附论文图表
图2:一组受限玻尔兹曼机构成的深度信念网络结构
图7:使用MINST手写数据集的深度学习系统的子图属性,每个数字表示相似性定义的“功能”节点组相应的感受域。第一列红色表示平均最近邻度与平均度之间的关系,第二列蓝色表示平均度强度与平均度之前的关系,第三列绿色表示平均正负度之间的关系。三行分别对应深度神经网络的不同的层。
本文由来自意大利Padova大学的研究团队完成。
https://arxiv.org/abs/1809.10941(可下载)
编译:刘培源
编辑:王怡蔺
0
推荐