jjzjj

DoesThings

全部标签

java - Apache Spark 如何将函数发送到引擎盖下的其他机器

我开始使用Pyspark进行一些数据处理。我可以做一些像这样的事情对我来说很有趣rdd.map(lambdax:(x['somekey'],1)).reduceByKey(lambdax,y:x+y).count()它会将这些函数中的逻辑发送到可能多台机器上以并行执行。现在,如果我有Java背景,如果我想将包含某些方法的对象发送到另一台机器,那台机器需要知道通过网络流式传输的对象的类定义。最近java有了函数式接口(interface)的想法,它将在编译时为我创建该接口(interface)的实现(即MyInterfaceimpl=()->System.out.println("Stu