jjzjj

Multinode

全部标签

hadoop - Spark : Execute python script with Spark based on Hadoop Multinode

我正在寻找基于HadoopMultinodes的Spark使用,我对我的集群模式pythonic脚本有疑问。我的配置:我进入了我的Hadoop集群:1个名称节点(主节点)2个数据节点(从节点)所以我想在Python中执行我的脚本以使用这个集群。我知道Spark可以用作独立模式,但我想使用我的节点。我的python脚本:这是一个非常简单的脚本,可以用来计算文本中的字数。importsysfrompysparkimportSparkContextsc=SparkContext()lines=sc.textFile(sys.argv[1])words=lines.flatMap(lambda