当前位置: 首页 > 推荐系统 > 正文

朴素贝叶斯文本分类算法java实现(一)

1 星2 星3 星4 星5 星 (1 次投票, 评分: 5.00, 总分: 5)
Loading ... Loading ...
baidu_share

在学习了朴素贝叶斯的概念后,下来我们来看看它的java实现。

有一个网友已经实现了其java的算法,具体详见:
数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文本分类器的JAVA实现(上)
Newsgroup18828文本分类器、文本聚类器、关联分析频繁模式挖掘算法的Java实现工程下载及运行FAQ

主要思路:利用google的Newsgroup18828文本分类器,使用多项式朴素贝叶斯文本分类算法进行文本自动分类。同时也实行了KNN算法进行文本分类。
DataPreProcess:利用stem算法进行文本预处理。过滤掉特殊字符。

该程序在代码中大量使用文件的绝对路径,下载下来使用,很不方便。我修改了其源码。在使用时只要设定程序主目录,将20news-18828.tar.gz包解压缩至设定程序主目录/orginSample的目录下。并修改了一点程序bug。将stopwords.txt放入到设定程序主目录下。

相关程序已经放入到github上:https://github.com/awnuxkjy/DataMiningClassify

public class ClassifierMain {
	public static final String DEFALUT_DIR="e:"+"/"+
			"recommend"+"/";
	public static final String DATA_PRE_PROCESS_DIR=DEFALUT_DIR+"orginSample"+"/";
	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		DataPreProcess DataPP = new DataPreProcess();
		NaiveBayesianClassifier nbClassifier = new NaiveBayesianClassifier();
		KNNClassifier knnClassifier = new KNNClassifier();
		DataPP.BPPMain(args);
		nbClassifier.NaiveBayesianClassifierMain(args);
		knnClassifier.KNNClassifierMain(args);
	}
}

例如:我的程序主目录为e:/recommend
在其目录下新建orginSample目录,把20news-18828.tar.gz解压缩至该目录下。
datamining

直接运行ClassifierMain即可。
result
由于该程序主要是英文文章的分类。下一步准备自己写一个多项式朴素贝叶斯文本分类算法。利用es-ik中文分词,利用搜狗提供的文本分类器进行文章的自动分类。

本文固定链接: http://www.chepoo.com/naive-bayesian-text-classification-algorithm-java-implementation.html | IT技术精华网

朴素贝叶斯文本分类算法java实现(一):目前有1 条留言

  1. 沙发
    :

    请问这个要分类的文章是哪些呢?

    [回复]

发表评论