jjzjj

hadoop - hive 表丢失

coder 2024-01-08 原文

我在配置单元中创建了几个表。我对他们提出了一些疑问。然后退出hive，之后关闭hadoop mapred和dfs。然后第二天回来才发现 table 不见了!!

我的配置单元使用本地元存储。经过大量搜索后，我只看到有人发布了一个这样的问题。答案中建议如果使用 metastore，则本地应从同一位置启动配置单元。我也这样做了。我只从主人那里运行 hive ，甚至从未登录过奴隶。 Metastore 文件夹仍然存在。那么一定是出了什么问题呢？我检查了 hadoop 和 hive metastore 日志的数据节点日志。却一无所获。我在哪里可以找到哪里出了问题？请帮我解决一下这个。还有什么可以避免这样的事情？

最佳答案

如果您使用本地元存储，Hive 会在启动 hiveserver2 的目录中创建 metastore_db。因此，如果您下次从不同的目录位置启动 hiveserver2，则会在该位置创建一个新的 metastore_db，并且此 metastore_db 将没有关于您之前的表的元数据。

关于hadoop - hive 表丢失，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12105381/

hadoophivesection配置单metastore

有关hadoop - hive 表丢失的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. Hive SQL 五大经典面试题 - 2

    目录第1题连续问题分析：解法：第2题分组问题分析：解法：第3题间隔连续问题分析：解法：第4题打折日期交叉问题分析：解法：第5题同时在线问题分析：解法：第1题连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量iddtlowcarbon10012021-12-1212310022021-12-124510012021-12-134310012021-12-134510012021-12-132310022021-12-144510012021-12-1423010022021-12-154510012021-12-1523.......找出连续3天及以上减少碳排放量在100以上的用户分析：遇到这类

  3. ruby-on-rails - Ubuntu 14.04 Rails 丢失文件 - 2

    安装Rails时，一切都很好，但后来，我写道:rails-v和输出:/home/toshiba/.rvm/rubies/ruby-2.2.1/lib/ruby/site_ruby/2.2.0/rubygems/core_ext/kernel_require.rb:54:in`require':cannotloadsuchfile--rails/cli(LoadError)from/home/toshiba/.rvm/rubies/ruby-2.2.1/lib/ruby/site_ruby/2.2.0/rubygems/core_ext/kernel_require.rb:54:in`r

  4. ruby - 将 ruby​​ 日期转换为字符串而不丢失格式 - 2

    我正在尝试将RubyDate对象转换为字符串。日期格式为:Sun,15Sep2013但是，当我使用#to_s将其转换为字符串时，它会给出以下内容:"2013-09-15"相反，我希望它变成:"Sun,15Sep2013" 最佳答案 使用Date#strftime有很多选择require'date'date=Date.parse("Sun,15Sep2013")#=>#date.strftime("%a,%d%b%Y")#=>"Sun,15Sep2013" 关于ruby-将ruby​​日期

  5. OSX 上的 Rubygems 丢失 - 2

    我觉得自己像个十足的白痴，但我整天都在研究这个，却一无所获。我重新启动了几次，试图在我的OSX环境、RVM、Brew、Ruby上完全安装Ruby:每次我完成Ruby安装时，它都会在ruby​​gems安装上触底。我不得不重新开始的原因是，在我第一次成功安装(使用打包的一体式RubyInstaller)后，RVM不会在Jewellerybox中更新，所以我无法管理我的gems-这是一个问题通过在/usr/local中而不是在我自己的目录下的系统上的初始Ruby安装。为了解决这个问题，我卸载了我所有的Ruby东西并重新开始。一切正常，直到ruby​​编译器在安装ruby​​2.0.0时开始

  6. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  7. ruby-on-rails - 彪马/丢失的日志 - 2

    为什么我在日志中看不到任何特定于Rails的条目？我在普通的Debian机器上使用带有Nginx代理的Puma2.7.1，没什么特别的，通过RVM的ruby​​1.9.3。我的美洲狮配置:#!/usr/bin/envpumaenvironment'sandbox'bind'unix://tmp/puma.sock'stdout_redirect'log/puma.log','log/puma_error.log',truepidfile'tmp/pids/puma.pid'state_path'tmp/pids/puma.state'daemonizetrueworkers4我通过以下

  8. ruby-on-rails - 通过带作用域的关联保存时丢失属性 (Rails 4.0.0) - 2

    代码(Rails4.0.0)classTrack{where(:artist_tracks=>{:artistic_role_id=>1})},:through=>:artist_tracks,:source=>:artistendclassArtistTrack:artist_tracksend寻找作品#artist_tracks.artistic_role_idisproperlysetto"1"2.0.0p195:003>Track.last.owning_artistsTrackLoad(1.1ms)SELECT"tracks".*FROM"tracks"ORDERBY"tra

  9. ruby-on-rails - 如何在不丢失注释和变量的情况下更新 Rails 语言环境 YAML 文件？ - 2

    我正在构建一个Ruby脚本来更改config/locales/*.ymlRails语言环境文件的内容。这些文件包含许多有用的注释和变量。通过加载、更新和转储它们，我丢失了这些注释和变量。如何在保留注释和变量的同时以编程方式更新YAML文件？ 最佳答案 我不认为你可以。YAML会忽略数据文件中的注释，但不会解析它们，因此它们会在文件加载时被丢弃。加载文件后，它们就消失了。我能想到的做你想做的唯一方法是在YAML之外打开文件，然后编写注释，然后写入使用to_yaml创建的YAML内容。像这样的东西:require'yaml'data={

  10. ruby-on-rails - 每次请求都会重新加载模块，因此初始化数据会丢失 - 2

    我将值存储在模块内的类变量中，例如:moduleTranslationEnhancerdefself.install!klass@dictionaries||=[]我从config/initializers中的初始化程序中调用它:requireRails.root+"lib"+"translation_enhancer.rb"TranslationEnhancer::install!TranslationDictionary现在，如果我在开发环境中启动服务器，在第一个请求期间一切正常。然而，在那个请求之后，@dictionaries突然变成了nil。我已经注释了TranslationE

随机推荐