jjzjj

completebulkload

全部标签

hadoop - HBase completebulkload 返回异常

我正在尝试使用批量加载方法从文本文件(几GB)快速批量填充HBase表described在Hadoop文档中。我已经创建了一个HFile,现在我想将其推送到我的HBase表。当我使用这个命令时:hadoopjar/home/hxcaine/hadoop/lib/hbase.jarcompletebulkload/user/hxcaine/dbpopulate/output/cf1my_hbase_table作业开始,然后我得到这个异常:Exceptioninthread"main"java.lang.NoClassDefFoundError:com/google/common/util

hadoop - completebulkload 执行 'copy' StoreFiles 而不是 'cut'

我使用HBase完全批量加载将ImportTsv的输出传输到HBase中的表,我注意到它复制输出而不是剪切。对于我千兆字节的数据,这需要很长时间。在HBase文档(http://hbase.apache.org/book/ops_mgt.html#completebulkload)中,我读到文件将被移动而不是复制。谁能帮我解决这个问题?我使用Hbase0.94.11和Hadoop1.2.1。bulkload的文件系统输出目录和hbase集群也是一样的。我还使用HFileOutputFormat编写了一个MapReduce作业。当我使用LoadIncrementalHFiles将作业的输