我被这个问题困扰了很长时间。我尝试在分布式节点中运行一些东西。我有2个数据节点和一个带有namenode和jobtracker的主节点。我不断在每个节点的tasktracker.log中收到以下错误从站的hadoop.log中出现这个错误:2012-01-0310:20:36,732WARNmapred.ReduceTask-attempt_201201031954_0006_r_000001_0addinghostlocalhosttopenaltybox,nextcontactin4seconds2012-01-0310:20:41,738WARNmapred.ReduceTask

我正在使用以下命令对nutch爬取的数据运行solrindex:bin/nutchsolrindexhttp://127.0.0.1:8983/solr//app/hadoop/tmp/crawled_pages/crawldb-linkdb/app/hadoop/tmp/crawled_pages/linkdb/app/hadoop/tmp/crawled_pages/segments/*我收到以下错误，我无法找到此问题的根本原因。org.apache.solr.common.SolrException:ERROR:[doc=http://www.bbc.co.uk/portugue

在我们的hadoop设置中，当数据节点崩溃(或)hadoop在数据节点上没有响应时，reduce任务失败无法从失败的节点读取(下面的异常)。我认为hadoop处理数据节点故障，这是创建hadoop的主要目的。有人在他们的集群中遇到类似的问题吗？如果您有解决方案，请告诉我。java.net.SocketTimeoutException:Readtimedoutatjava.net.SocketInputStream.socketRead0(NativeMethod)atjava.net.SocketInputStream.read(UnknownSource)atjava.io.Buff

我在运行wordcount-likemapreduce程序时遇到奇怪的错误。我有一个包含20个从站的hadoop集群，每个从站有4GBRAM。我将map任务配置为具有300MB的堆，而我的reduce任务槽获得1GB。每个节点有2个映射槽和1个缩减槽。一切顺利，直到第一轮maptask完成。然后进度保持在100%。我想copyphase正在发生。每个maptask都会生成如下内容:Mapoutputbytes4,164,335,564Mapoutputmaterializedbytes608,800,675(我正在使用SnappyCodec进行压缩)在停止大约一个小时后，reduce任