spark mllib算法接口源码在什么地方查看

1.1LDA实例实例步骤：1）加载数据返回的数据格式为：documents:RDD[(Long,Vector)]，其中：Long为文章ID，Vector为文章分词后的词向量；用户可以读取指定目录下的数据，通过分词以及数据格式的转换，转换成RDD[(Long,Vector)]即可。2）建立模型模型参数设置说明：k:主题数，或者聚类中心数DocConcentration：文章分布的超参数(Dirichlet分布的参数)，必需>1.0TopicConcentration：主题分布的超参数(Dirichlet分布的参数)，必需>1.0MaxIterations：迭代次数setSeed：随机种子CheckpointInterval：迭代计算时检查点的间隔Optimizer：优化计算方法，目前支持"em","online"3）结果输出topicsMatrix以及topics(word,topic))输出。实例代码如下：[java]viewplaincopyimportorg.apache.log4j.{Level,Logger}importorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.mllib.clustering.LDAimportorg.apache.spark.mllib.linalg.Vectorsobjectlda{defmain(args:Array[String]){//0构建Spark对象valconf=newSparkConf().setAppName("lda")valsc=newSparkContext(conf)Logger.getRootLogger.setLevel(Level.WARN)//1加载数据，返回的数据格式为：documents:RDD[(Long,Vector)]//其中：Long为文章ID，Vector为文章分词后的词向量//可以读取指定目录下的数据，通过分词以及数据格式的转换，转换成RDD[(Long,Vector)]即可valdata=sc.textFile("data/mllib/sample_lda_data.txt")valparsedData=data.map(s=>Vectors.dense(s.trim.split('').map(_.toDouble)))//IndexdocumentswithuniqueIDsvalcorpus=parsedData.zipWithIndex.map(_.swap).cache()//2建立模型，设置训练参数，训练模型/***k:主题数，或者聚类中心数*DocConcentration：文章分布的超参数(Dirichlet分布的参数)，必需>1.0*TopicConcentration：主题分布的超参数(Dirichlet分布的参数)，必需>1.0*MaxIterations：迭代次数*setSeed：随机种子*CheckpointInterval：迭代计算时检查点的间隔*Optimizer：优化计算方法，目前支持"em","online"*/valldaModel=newLDA().setK(3).setDocConcentration(5).setTopicConcentration(5).setMaxIterations(20).setSeed(0L).setCheckpointInterval(10).setOptimizer("em").run(corpus)//3模型输出，模型参数输出，结果输出//Outputtopics.Eachisadistributionoverwords(matchingwordcountvectors)println("Learnedtopics(asdistributionsovervocabof"+ldaModel.vocabSize+"words):")valtopics=ldaModel.topicsMatrixfor(topic<-Range(0,3)){print("Topic"+topic+":")for(word<-Range(0,ldaModel.vocabSize)){print(""+topics(word,topic));}println()}}}