我在AmazonEC2机器上遇到WebHDFS访问问题。顺便说一句，我已经安装了HortonworksHDP2.3。我可以使用以下http请求在浏览器(chrome)中从我的本地计算机检索文件状态:http://:50070/webhdfs/v1/user/admin/file.csv?op=GETFILESTATUS这工作正常，但如果我尝试使用?op=OPEN打开文件，它会将我重定向到我无法访问的机器的私有(private)DNS:http://:50075/webhdfs/v1/user/admin/file.csv?op=OPEN&namenoderpcaddress=:8020
有没有办法通过webhdfsRESTAPI检查HDFS路径上是否存在同名文件？我的示例网址:http://my-sample-url:port/webhdfs/v15/tmp/mydata/sample.txt?op=CREATE&user.name=john&namenoderpcaddress=prodaddress&createflag=&createparent=true&overwrite=false我正在通过HTTPClient应用程序调用此API。我如何检查该hdfs路径上是否存在同名文件，以便我可以决定进一步处理？我正在寻找单线解决方案。 最
是否可以在HDFS的文件级别进行用户访问控制？目前，每个人都可以通过点击像http:///webhdfs/v1/xxx.txt?op=OPEN这样的链接来访问数据。.我可以设置特定的人群，他们只能访问特定的文件或目录吗？目的是不让其他人访问不属于他们的文件。如果不能在HDFS上设置，有什么建议吗？ 最佳答案 当安全关闭时，经过身份验证的用户是在user.name查询参数中指定的用户名。如果未设置user.name参数，服务器可能会将经过身份验证的用户设置为默认Web用户(如果有)，或者返回错误响应。启用安全性后，身份验证由Hadoo
我有一个hdfs集群(hadoop2.7.1)，有一个名称节点、一个辅助名称节点、3个数据节点。当我启用webhdfs并进行测试时，我发现它总是重定向到未配置为数据节点的“localhost:50075”。csrd@secondarynamenode:~/lybica-hdfs-viewer$curl-i-L"http://10.56.219.30:50070/webhdfs/v1/demo.zip?op=OPEN"HTTP/1.1307TEMPORARY_REDIRECTCache-Control:no-cacheExpires:Tue,01Dec201503:29:21GMTDat
我有一个Spring引导应用程序，它通过Webhdfs访问HDFS，该Webhdfs由Kerberos保护的ApacheKnox保护。我创建了自己的KnoxWebHdfsFileSystem使用自定义方案(swebhdfsknox)作为WebHdfsFilesystem的子类它只会更改URL以包含Knox代理前缀。所以它有效地重新映射来自表单的请求:http://host:port/webhdfs/v1/...诺克斯:http://host:port/gateway/default/webhdfs/v1/...我通过覆盖两个方法来做到这一点:publicURIgetUri()URLto
我正在尝试查看删除选项是否适用于webhdfs:http://ec2-ab-cd-ef-hi.compute-1.amazonaws.com:14000/webhdfs/v1/user/barak/barakFile.csv?op=DELETE&user.name=hadoop但是我得到一个错误:{"RemoteException":{"message":"InvalidHTTPGEToperation[DELETE]","exception":"IOException","javaClassName":"java.io.IOException"}}此文件拥有所有权限(777)。[ha
我打开localhost:9870并尝试将txt文件上传到hdfs。我看到下面的错误信息Failedtoretrievedatafrom/webhdfs/v1/?op=LISTSTATUS:ServerError 最佳答案 我在使用JDK9时遇到了同样的问题。我的解决方法是在hadoop-env.sh中添加这一行exportHADOOP_OPTS="--add-modulesjava.activation"那是因为java.activation包在Java9中被弃用了。 关于hadoop
我正在尝试通过webhdfsAPI从HDFS打开一个文件。我可以创建文件并上传它们，但是一旦我尝试打开我就会收到此错误{"RemoteException":{"exception":"NullPointerException","javaClassName":"java.lang.NullPointerException","message":null}}使用以下命令curl-i-XGET"http://ec2-xx-xx-xx-xx.eu-west-1.compute.amazonaws.com:50070/webhdfs/v1/tmp/tmp.txt?op=OPEN"我在多台机器上
我使用ffmpeg+libx264将文件格式转换为H264，然后将文件上传到Hadoop。我用WebHDFS通过HTTP访问文件，但是不能在线播放。如果我通过HTTP下载此文件，它可以通过HTML5视频播放。我的英语很差，希望你明白我的意思。 最佳答案 我知道了，转换后的文件格式崩溃，需要用qt-faststart工具修复，然后才能播放，谢谢。 关于hadoop-使用WebHDFS通过HTTP播放视频，我们在StackOverflow上找到一个类似的问题： h
我正在尝试从Webhdfsrestapi获取liststatus，但出现以下错误。XMLHttpRequestcannotloadhttp://:50070/webhdfs/v1/?op=LISTSTATUS.No'Access-Control-Allow-Origin'headerispresentontherequestedresource.Origin'http://localhost:8080'isthereforenotallowedaccess.当我尝试通过curl访问时它加载成功。但是当我尝试使用AngularJS$http.get获取它时失败了。有没有办法在Hadoop
