摘要:针对短文本内容简短、特征稀疏等特点,提出一种新的融合词语类别特征和语义的短文本分类方法。该方法采用改进的特征选择方法从短文本中选择最能代表类别特征的词语构造特征词典,同时结合利用隐含狄利克雷分布LDA主题模型从背景知识中选择最优主题形成新的短文本特征,在此基础上建立分类器进行分类。采用支持向量机SVM与k近邻法忌一NN分类器对搜狗语料库数据集上的搜狐新闻标题内容进行分类,实验结果表明该方法对提高短文本分类的性能是有效的。
关键词:短文本分类 隐含狄利克雷分布 词汇特征 语义特征 特征选择
单位:西北师范大学计算机科学与工程学院; 甘肃兰州730070
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社