jjzjj

在纱线集群模式访问Controlexception上执行火花

我有一些SPARK代码,可以分析CSV文件中的输入数据集。当我以群集模式运行它时,我会遇到以下错误(在本地模式下它可以正常工作)。我的问题是:局部变量会影响不同工人的并行执行吗?我正在使用localfile作为输入。我必须使用HDFS文件吗?我相信RDD是并行的,并且输入文件可以存储在本地文件系统中。Exceptioninthread"main"org.apache.hadoop.security.AccessControlException:Permissiondenied:user=xxx,access=WRITE,inode="/":hdfs:supergroup:drwxr-xr-xa

错误(在ExitCode 1中返回应用程序)在纱线群集模式下运行Spark时

我有一个Spark作业,可以通过退出代码1返回,但我无法弄清楚此特定的退出代码的含义以及为什么该代码返回应用程序。这就是我在NodeManagerlogs-中看到的2017-07-1007:54:03,839WARNorg.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor:Exceptionfromcontainer-launchwithcontainerID:container_1499673023544_0001_01_000001andexitcode:1ExitCodeExceptionexitCode=1:a