我无法使用Hadoop的WebHDFSRESTAPI创建文件。按照文档，我正在这样做。curl-i-XPUT"http://hadoop-primarynamenode:50070/webhdfs/v1/tmp/test1234?op=CREATE&overwrite=false"响应:HTTP/1.1307TEMPORARY_REDIRECTCache-Control:no-cacheExpires:Fri,15Jul201604:10:13GMTDate:Fri,15Jul201604:10:13GMTPragma:no-cacheExpires:Fri,15Jul201604:1
我目前正在构建一个Node应用程序，当我的服务未运行时，它使用hadoop作为数据的长期存储。由于预期会发生预期的传输量，并且首选处理时间最少，因此数据不会写入磁盘，而是直接通过管道传输到我打算使用它执行的操作。我收到以下错误:\nodejs_host\node_modules\webhdfs\lib\webhdfs.js:588src.unpipe(req);^TypeError:src.unpipeisnotafunctionatRequest.onPipe(\nodejs_host\node_modules\webhdfs\lib\webhdfs.js:588:9)atemitO
我有hadoop集群和hadoop版本apache2.7.1高可用且由五个节点组成mn1,mn2,dn1,dn2,dn3如果我们从浏览器访问wbhdfs以打开一个名为myfile的文件，该文件的复制因子=3并在dn1、dn2和dn3上退出我们从浏览器发出以下命令http://mn1:50070/webhdfs/v1/hadoophome/myfile/?user.name=root&op=OPEN因此mn1将此请求重定向到dn1或dn2或dn3我们得到了文件我们也可以通过以下命令从hadoop中获取文件hdfsdfs-cat/hadoophome/myfile但是在数据节点故障的情况下
这里是azure的新手。我刚刚在常规存储帐户上启动了一个新的HDInsight实例和一个新的存储实例。我想知道我的webHDFS网址是什么/我可以在哪里检索它以及如何访问它。我没有使用AzureDataLake存储。(几乎我发现与Azure相关的每个链接都指向某个数据湖链接)我的hdfs-site.xml:dfs.webhdfs.enabledtrue核心站点.xml:fs.defaultFSwasb://@.blob.core.windows.nettrue 最佳答案 您的基本webHDFS文件系统URI应该是:webhdfs:/
我正在尝试运行一个长生命周期的WebHDFS客户端(实际上是在HDFS上构建前端框架)。但是我的token一天后就会过期(这里是默认的kerberos配置)，起初我尝试运行一个线程来调用userLoginInformation.currentUser().checkTGTAndReloginFromKeytab();然而，即使我看到TGT重新登录21小时，但在24小时后我的WebHDFS文件系统卡在“缓存中未找到token”(这是一个错误，意味着服务器已经删除了我的token)。查看代码@https://github.com/apache/hadoop/blob/release-2.7
我已经使用Kerberos(CDH4.3)配置了启用安全性的HadoopHDFS。它工作正常，我可以使用命令行工具完成所有操作。还有一些其他非hadoop集群节点需要通过RESTAPI访问HDFS文件系统，所以我启用了配置了Kerberos的webhdfs。我的安全webhdfs对于不涉及临时重定向的操作工作正常:即LISTSTATUS、创建目录、删除目录、删除文件，所有工作正常。但是对于创建文件、打开文件等两步操作，它失败并显示以下信息:[DEV][root@namenode~]#curl-i--negotiate-u:-XPUT"http://namenode:50070/webh
我已经在Windows中使用SASL为hadoop-2.6.0配置了kerberos安全性。一切正常。但是webhdfs不能通过https协议(protocol)工作。Permissiondeniedwhentryingtoopen/webhdfs/v1/?op=LISTSTATUS:GSSException:Defectivetokendetected(Mechanismlevel:GSSHeaderdidnotfindtherighttag)我刚刚使用https://hostname:50470/webhdfs/v1/?op=LISTSTATUS进行了测试我已经设置了以下属性。但是
是否支持使用WebHDFSRESTAPI在R?类似于pythonpackage的东西？ 最佳答案 显然有(来自GitHub搜索:https://github.com/search?q=WebHDFS+language%3AR&ref=opensearch)https://github.com/saurfang/rwebhdfs还没有测试过 关于r-WebHDFSRESTAPI和R，我们在StackOverflow上找到一个类似的问题： https://stac
我想让flume代理位于hadoop集群之外，并且想知道是否可以使用flume通过WebHDFS将消息发送到hadoop集群。如果没有，是否有使用WebHDFS的替代方案？使用多层水槽层仍然需要我在hadoop集群中运行水槽代理。 最佳答案 只要您指定“hdfs”作为它们的类型，flume代理就可以在它们自己的机器上运行，而无需在hadoop集群内。我有一个水槽代理将avro事件写入hdfs接收器，而不是在hadoop集群上或使用WebHDFS。这是它的设置:agent.sinks.sink1.channel=channel1age
当我尝试从我的Angular6应用程序访问Webhdfs时，我收到如下所示的错误。在我看来，我几乎尝试了所有方法，包括更改core-site.xml和hdfs-site.xml中的设置，不幸的是没有得到积极的结果。显然，很可能需要正确配置Hadoop。有谁知道我该如何解决这个问题？[Error]Originhttp://localhost:4200isnotallowedbyAccess-Control-Allow-Origin.[Error]XMLHttpRequestcannotloadhttp://192.168.0.16:9870/webhdfs/v1/user/myuser/
