我的Hbase版本是0.92.1。
我发现我的 reduce 作业有异常，例如:
java.io.IOException: HRegionInfo was null or empty in .META., row=keyvalues={single,20150411 hxmyxy2013 REF// 336d5ebc5436534e61d16e63ddfca327 7f92f92e8e693531c12a1dcc773f9ffa,1430298962344.ea72df9a3703e476b9f7e3368be47aa2./info:server/1430356486086/Put/vlen=28, single,20150411 hxmyxy2013 REF// 336d5ebc5436534e61d16e63ddfca327 7f92f92e8e693531c12a1dcc773f9ffa,1430298962344.ea72df9a3703e476b9f7e3368be47aa2./info:serverstartcode/1430356486086/Put/vlen=8}
然后我运行命令:hbase hbck
输出 57 个错误，例如:
ERROR: Region hdfs://hadoop01.yupoo-inc.com:9000/hbase/single/fa921b223692d89be274979e1e8f1674 on HDFS, but not listed in META or deployed on any region server
=====
总结:
-ROOT- 没问题。
Number of regions: 1
Deployed on: hadoop02.yupoo-inc.com,60020,1430643409216
.META。没关系。
Number of regions: 1
Deployed on: hadoop01.yupoo-inc.com,60020,1430643412565
全局没问题。
Number of regions: 1
Deployed on: hadoop03.yupoo-inc.com,60020,1430643409040
单例没问题。
Number of regions: 2081
Deployed on: hadoop01.yupoo-inc.com,60020,1430643412565 hadoop02.yupoo-inc.com,60020,1430643409216 hadoop03.yupoo-inc.com,60020,1430643409040 hadoop04.yupoo-inc.com,60020,1430643408453 hadoop05.yupoo-inc.com,60020,1430643407996
摘要没问题。
Number of regions: 2540
Deployed on: hadoop01.yupoo-inc.com,60020,1430643412565 hadoop02.yupoo-inc.com,60020,1430643409216 hadoop03.yupoo-inc.com,60020,1430643409040 hadoop04.yupoo-inc.com,60020,1430643408453 hadoop05.yupoo-inc.com,60020,1430643407996
总的来说还可以。
Number of regions: 172
Deployed on: hadoop01.yupoo-inc.com,60020,1430643412565 hadoop02.yupoo-inc.com,60020,1430643409216 hadoop03.yupoo-inc.com,60020,1430643409040 hadoop04.yupoo-inc.com,60020,1430643408453 hadoop05.yupoo-inc.com,60020,1430643407996
url 没问题。
Number of regions: 5
Deployed on: hadoop02.yupoo-inc.com,60020,1430643409216 hadoop03.yupoo-inc.com,60020,1430643409040
检测到 57 个不一致。
状态:不一致
=====
似乎有些区域信息不在元表中，所以我问了谷歌并找到了像 hbase hbck -repair 或 -fixMeta -fixAssignments 或 -repairHoles
但是我的 hbase 版本没有这个命令，我运行命令 hbase hbck --help ，它输出:
未知命令行选项:--help
用法:fsck [选项]
其中 [opts] 是:
-details 显示所有区域的完整报告。
-timelag {timeInSeconds} 只处理没有的区域 在最后 {{timeInSeconds} 秒内经历了任何元数据更新。
-fix 尝试修复一些错误。
-sleepBeforeRerun {timeInSeconds} 如果使用 -fix 运行，在检查修复是否有效之前休眠这么多秒
-summary 仅打印表格和状态的摘要。
-metaonly 只检查 ROOT 和 META 表的状态。
但是当我运行 hbase hbck -fix 时它什么也没做，所以有人可以帮我解决这个问题吗？
最佳答案
我自己解决了这个问题。
我发现我的 reduce 任务因以下异常而失败:
java.io.IOException: HRegionInfo was null or empty in .META., row=keyvalues={single,20150411 hxmyxy2013 REF//336d5ebc5436534e61d16e63ddfca327 7f92f92e8e693531c12a1dcc773f9ffa,1430298962344.ea72df9a3703e476b9f7e3368be47aa2./info:server/1430356486086/Put/vlen=28 , single,20150411 hxmyxy2013 REF//336d5ebc5436534e61d16e63ddfca327 7f92f92e8e693531c12a1dcc773f9ffa,1430298962344.ea72df9a3703e476b9f7e3368be47aa2./info:serverstartcode/1430356486086/Put/vlen=8}
然后我通过运行以下命令检查 Hbase shell: 获取'.META.', 'single,20150411 hxmyxy2013 REF//336d5ebc5436534e61d16e63ddfca327 7f92f92e8e693531c12a1dcc773f9ffa,1430298962344.ea72df9a3708be.473b
哪个输出是:
列单元格
信息:服务器时间戳=1430356486086，值=hadoop05.yupoo-inc.com:60020
信息:服务器启动代码时间戳=1430356486086，值=1430352791855
2 行在 0.0080 秒内
然后我删除了这个键是的数据:
单例，20150411 hxmyxy2013 REF//336d5ebc5436534e61d16e63ddfca327 7f92f92e8e693531c12a1dcc773f9ffa，1430298962344.ea72df9a3703e476a28bef4a7p
关于hadoop - Hbase 0.92.1 : how to fix . 元数据。 table ，因为它丢失了一些 regioninfo，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30015248/
我需要一个表，其中行实际上是2行表，一个嵌套表是..我怎样才能在Prawn中做到这一点？也许我需要延期..但哪一个？ 最佳答案 现在支持子表:Prawn::Document.generate("subtable.pdf")do|pdf|subtable=pdf.make_table([["sub"],["table"]])pdf.table([[subtable,"original"]])end 关于ruby-on-rails-PrawnPDF:Ineedtogeneratenested
1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模
Region是HBase数据管理的基本单位,region有一点像关系型数据的分区。region中存储这用户的真实数据，而为了管理这些数据，HBase使用了RegionSever来管理region。Region的结构hbaseregion的大小设置默认情况下，每个Table起初只有一个Region，随着数据的不断写入，Region会自动进行拆分。刚拆分时，两个子Region都位于当前的RegionServer，但处于负载均衡的考虑，HMaster有可能会将某个Region转移给其他的RegionServer。RegionSplit时机：当1个region中的某个Store下所有StoreFile
我正在寻找一个清晰的Rails4示例，说明如何根据通过另一个表关联的数据过滤记录。假设我有一个用户模型和一个评论模型。一个用户has_many评论，一个Commentbelongs_to一个用户。评论在其表中也有一个score列。classUserUsers|id|name|email||-----|---------|---------------------||1|"Alice"|"alice@example.com"||2|"Bob"|"bob@example.com"||...|classComment我如何获得所有对内容“k”发表评论且分数>0的用户？请注意，我要返回的是用户
我想在请求期间动态更改ActiveRecord模型类的表名。例如，有许多具有相似结构(列)的表:mydb:sample_data_12222sample_data_12223sample_data_12224sample_data_12225...所以，我想做的是..._1。定义基本模型类，如:classSampleData_2。在请求期间更改目标表，例如:defaction_methodSampleData.set_table_name"sample_data_#{params[:id]}"@rows=SampleData.all如果在非线程环境(如Passenger/mod_rai
我在prawn中创建了一个表，并希望通过whih传递:position选项，这在手册中也有记录，但它引发了Method_missing错误。好像这个参数不存在了。我怎样才能让Prawn居中？ 最佳答案 我遇到了同样的错误。从Github上的master安装解决了这个问题。#Gemfilegem'prawn',git:'https://github.com/prawnpdf/prawn.git'IssuethreadonGithub 关于ruby-on-rails-如何在Prawn中居中t
目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和
我正在尝试使用RubygemRestClient为我的一个FusionTables更新样式。这是我的代码:require'rest_client'tableId=''styleId=''key=''table_url="https://www.googleapis.com/fusiontables/v1/tables/#{tableId}/styles/#{styleId}?key=#{key}"update='{"polygonOptions":{"strokeColor":"#ffffff"}}'token='STRINGCONTAININGAUTHORIZATIONTOKEN'R
我正在使用RubyonRails，我不再需要我的表Order，所以我使用SQLite管理器删除了它。我怎样才能在heroku中删除表？编辑我收到错误db/migrate/20110806052256_droptableorders.rb:10:syntaxerror,unexpectedkeyword_end,expecting$end当我运行命令时classDropTableOrder 最佳答案 如果你不想创建一个迁移来删除表并且不能回滚以前的迁移，因为你不想丢失迁移后创建的表中的数据，你可以在heroku控制台上使用以下命令来放
我一直在用CSV.table做一些测试。我有两个几乎相同的小CSV文件，但其中一个缺少标题行。当我对带有标题行的CSV文件运行CSV.table时，一切都按预期进行。当我针对没有标题行的CSV文件运行它时，我得到:NoMethodError:undefinedmethod`encode'fornil:NilClass我用不同类型的数据、不同类型的header尝试了这个，并得到了相同的结果。我很好奇CSV.table的魔力。如果我使用CSV.parse并将标题设置为true，那么无论如何它总是使第一行成为标题。所以，我一直在使用CSV.table来检查导入的CSV文件是否有标题行，但我对