我想了解hadoop是如何工作的。假设我在hdfs上有10个目录，它包含100个我想用spark处理的文件。在书中-使用Spark进行快速数据处理这要求文件在集群中的所有节点上都可用，这并不是什么大问题本地模式的问题。在分布式模式下，你会想要使用Spark的addFile功能，用于将文件复制到集群中的所有机器。我无法理解这一点，将在每个节点上创建文件副本。我想要的是它应该读取该目录中存在的文件(如果该目录存在于该节点上)抱歉，我有点困惑，如何在spark中处理上述情况。问候 最佳答案 Thesectionyou'rereferrin

我使用MapR，我想从LDAP创建用户。我可以创建我的用户，但Hue不想创建关联文件夹，我收到此消息:“获取当前用户的用户信息时出错，***(错误500)”我尝试使用本地用户，但这是同样的问题...我只有mapr用户，当我手动创建文件夹时没问题，但是当我想更改组或所有者时，我收到此消息:“无法为路径/user/test设置所有者/组mapr/默认值(错误500)”我不明白为什么我有这些问题....请帮帮我。谢谢。编辑:我有一些消息，我用MapRSandbox测试过，我遇到了同样的问题。使用Cloudera或Hortonworks的Hue可以正常工作，当我使用Hue创建用户时，会自动创建

我正尝试在yarn-client模式下向oozie提交一个spark作业。当我在oozie之外运行spark作业时，它运行良好。但是当我提交oozie作业时，它一直失败并出现以下错误:Exceptioninthread"main"java.lang.IllegalStateException:basedirjob.jar/libdoesnotexist.atorg.apache.tools.ant.DirectoryScanner.scan(DirectoryScanner.java:871)atorg.apache.spark.classpath.ClasspathFilter$$a

我知道Hadoop是基于Master/Slave架构的HDFS与NameNodes和DataNodes一起工作和MapReduce与jobtrackers和Tasktrackers一起工作但是我在MapR上找不到所有这些服务，我发现它有自己的架构和自己的服务我有点困惑，谁能告诉我只使用Hadoop和使用MapR有什么区别! 最佳答案 您必须引用Hadoop2.x最新架构，因为YARN(YetAnotherResourceNegotiator)和HighAvailability已被引入2.x版本。作业跟踪器和任务跟踪器替换为资源管理器

我有一个AmazonWindowsVM，我在其中安装了MapR-Client2.1.2，以及另一个等待作业执行的MapR集群。我设置了MAPR_HOME在C:\opt\mapr，当我执行hadoopfs-ls/来自C:\opt\mapr\hadoop\hadoop-0.20.2\bin我得到:Thesystemcannotfindthepathspecified我还配置了MapR-Client和server\configure.bat-c-C:7222在config\mapr-clusters.conf我可以看到:my.cluster.com:7222我还确保我能够从Windows进行

关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭6年前。ImprovethisquestionCloudera和Hortonworks使用HDFS，这是ApacheHadoop的基本概念之一。MapR使用自己的概念/实现。您可以直接使用native文件系统，而不是HDFS。您可以在MapR的网站上找到使用这种方法的很多优势。我想知道这种方法有什么缺点？