线上期刊服务咨询,发表咨询:400-808-1701 订阅咨询:400-808-1721

基于受限玻尔兹曼机的专家乘积系统的一种改进算法

沈卉卉; 李宏伟 电子与信息学报 2018年第09期

摘要:深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU.PIE数据库的人脸识别实验,提出的算法减少了学习时间,提高了超参数寻优的效率,进而构建的深层网络能获得较好的分类效果。试验结果表明,提出的改进算法在处理高维大量的数据时,计算效率有较大提高,其算法有效。

关键词:深度学习专家乘积神经网络受限玻尔兹曼机动量

单位:中国地质大学数理学院; 武汉430074; 湖北经济学院信息管理与统计学院; 武汉430205; 中国地质大学地球内部多尺度成像湖北省重点实验室; 武汉430074

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

电子与信息学报

北大期刊

¥1272.00

关注 31人评论|2人关注