jjzjj

saveAsSequenceFile

全部标签

java - 如何为 Spark 中的 SaveAsSequenceFile 方法提供编解码器?

我正在尝试弄清楚如何将编解码器传递给ApacheSpark中的saveAsSequenceFile方法。下面是我试图运行的代码。我正在运行Scala2.10.4、Spark1.0.0、Java1.7.60和ApacheHadoop2.4.0。valrdd:RDD[(String,String)]=sc.sequenceFile(secPath,classOf[Text],classOf[Text]).map{case(k,v)=>(k.toString,v.toString)}valsortedOutput=rdd.sortByKey(true,1)sortedOutput.saveA