基于深度神经网络的隐变量模型学习与应用研究
随着Web2.0应用的迅速发展和快速普及，大量用户生成的数据成为了Web信息服务的基础。
例如，产生于电商平台的网购数据可用于分析用户的购物偏好，从而实现商品的个性化推荐。
这些数据中的特征之间往往存在非线性的图型依赖关系，同时存在无法观测到的特征（如用户对商品多个描述维度的偏好）。
对数据进行建模、并实现有效的信息服务，需要建立有效描述无法观测到的特征并对所蕴含的依赖关系进行有效计算分析的知识模型。
作为一种重要的概率图模型，贝叶斯网(BayesianNetwork,BN)使用具有概率语义的有向无环图对依赖关系进行建模，并可实现有效的概率推理。
用隐变量描述无法观测到的特征，并将隐变量引入BN，可增强BN的可解释性。带隐变量的BN，在个性化推荐和医疗预诊断等信息服务中具有广泛应用。
然而，隐变量的引入导致BNML学习时需要计算大量的中间结果，使得模型学习具有较高的时间复杂度。
如何高效地学习BNML，是解决上述问题的基础，具有重要的意义，也具有许多挑战。
在BNML的参数学习中，研究主要解决在引入隐变量之后，基于给定DAG如何高效学习CPT中的参数。
目前的研究方法可以总结为优化EM算法的迭代、使用约束(Constrain)减少搜索域、以及使用分布式架构加速EM算法三个方面。
在优化EM算法的迭代的研究中，提出使用团树(CliqueTree)只对部分需要更新的参数进行更新的方法，减少每次迭代时需要更新的参数，提高参数学习的效率。
提出基于参数共享的方法，通过共享CPT中的部分参数减少每次迭代时需要更的参数。
使用曲线方程优化EM的算法，通过减少EM算法的迭代次数来提高参数学习的效率。
基于Anderson的加速技术，在减少迭代次数的同时能使EM算法跳出局部最优解、逼近全局最优解。
使用拟牛顿(quasi-Newtonmethod)算法替代EM算法中的Jensen不等式的求解方法，减少需要的迭代次数。
在使用约束的研究中，基于条件限制的方法，限定CPT中参数的取值范围，从而减少参数的搜索域，提升参数学习的效率。文献[1]对条件限制进行了拓展，将搜索域进一步减小，从而实现更为高效的参数学习。
在分布式架构的研究中，基于分布式学习框架MapReduce，使用多个PC共同计算CPT中的参数。
神经网络的可解释性研究主要针对神经网络决策过程进行解释，对其隐含层所表示的物理意义进行解释，构建解释模型对神经网络进行解释三个方面。
在解释神经网络决策过程的研究中，LIME方法使用线性代理模型(LinearProxyModel)模拟NN的决策过程，将决策过程抽象为线性模型的叠加，从而实现NN的解释。
DeepRED通过使用决策树(DecisionTree)描述NN的决策过程，基于决策树中的概率对NN进行解释。
在对NN隐含层所表示的物理意义进行解释的研究中，基于转移学习(TransferringLearning)，通过衡量每个隐含层对于输出的重要性来解释NN。
使用向量提取每层中关键的特征，并且将提取出的特征用于处理相似任务，进而解释NN。
在构建解释模型对NN进行解释的研究中，基于注意力机制(Attention)对特定NN构建可解释模型，通过注意力机制的变化解释NN。
InfoGAN通过生成模型描述NN中每个神经元(Neuron)所表达的意义，实现对NN的解释。
针对实现构建可解释性较强且能够高效构建的模型以实现信息服务的目标，首先分析了BNML在复杂数据中构建的瓶颈。
针对瓶颈以及数据分析中的挑战，本文提出使用基于NN的模型优化BNML的学习过程。
具体为通过RNN和MGAN模型，使用BNML中DAG的信息完成BNML与NN的有效结合，实现基于数据集特征的聚类，从而减少特征间的组合数进一步优化BNML的学习过程。
实验结果表明，本文提出的RMGAN能够通过聚类，实现降低BNML中参数学习的时间复杂度从而减少BNML参数学习的执行时间。
同时实验结果证明，基于RMGAN的BNML在多个数据集中的RMSE、MSE、MAE指标的值与传统BNML取得的值相近，甚至优于BNML。
同时基于RMGAN的BNML获得的指标值优于PNN以及MF，这进一步证明基于RMGAN的BNML具备有效性。
最后，本文将基于RMGAN的BNML用于基于COVID-19的实证研究，进一步证明基于RMGAN的BNML能够构建信息服务。
结果表明基于RMGAN的BNML能够用于预测COVID-19特定地区的感染概率。
同时本文通过Echarts将特定地区的感染概率进行可视化，实现基于COVID-19预警的信息服务。
