摘要：在以数据驱动为主导的大数据时代,信息资源量呈几何级增长,“信息超载”问题对数据分析与处理提出了更高的要求。从海量数据中提取有效信息并进行系统的分析与挖掘,从而满足用户的个性化需求将大大增强企业竞争力。本文结合Hadoop与Spark的优点,设计并搭建了包括HDFS、MongoDB、MLlib、Tableau等集群的大数据分析与挖掘平台,并实践了基于Amazon电商交易数据集的个性化商品推荐应用。利用SparkMLlib的ALS矩阵分解协同过滤推荐算法对用户购买行为进行模型训练和推荐,最后实验结果表明,此大数据分析与挖掘平台对于对个性化商品的推荐可实现不错的效果。

关键词：hadoop spark 大数据 推荐系统 数据挖掘 

单位：山东财经大学管理科学与工程学院; 山东济南250014