摘要：随着互联网的飞速发展，需要处理的数据量不断增加，在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求，针对在单机情况下，传统LDA算法无法分析处理大规模语料集的问题，提出基于MapReduce计算框架，采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现，并且考察了该并行计算程序的计算性能。通过对Hadoop并行计算与单机计算进行实验对比，发现该方法在处理大规模语料时，能够较大地提升算法的运行速度，并且随着集群节点数的增加，在加速比方面也有较好的表现。基于Hadoop平台并行化地实现LDA算法具有可行性，解决了单机无法分析大规模语料集中潜藏主题信息的问题。

关键词：hadoop mapreduce lda主题模型 gibbs 中文分词 

单位：北京工业大学电子信息与控制工程学院 北京100124 数字社区教育部工程研究中心 北京100124 城市轨道交通北京实验室 北京100124