编辑 - 长话短说:
在写入 HDFS 被认为成功之前，所有 副本节点是否必须存储文件(其所有 block )？如果是这样，复制因子是否会影响写入延迟？
原始问题:
在 Hadoop 2 中，我可以通过将 dfs.replication 属性设置为大于 1 的值来控制数据 block 副本的数量(默认值并不总是 3 in一些 hadoop 发行版，如 EMR)。
据我了解，HDFS 的行为是同步写入第一个副本，而其他副本则通过管道传输，并且复制以异步方式进行。这个对吗？
如果上述情况成立，那么如果第一个节点向namenode发送ack然后在能够完成异步复制之前被陨石击中，则始终存在数据丢失的风险。
有没有办法保证至少有 X 个节点在写入 block 被认为成功之前写入 block ？这样做可取吗？我虽然可以通过使用 dfs.namenode.replication.min 属性来控制它，但我读到它仅在“安全模式”下使用，因此在正常操作期间无济于事。
最佳答案
您从哪里看出复制不可靠？来自 Cloudera 博客:
When files are being written the data nodes form a pipeline to write the replicas in sequence. Data is sent through the pipeline in packets (smaller than a block), each of which must be acknowledged to count as a successful write. If a data node fails while the block is being written, it is removed from the pipeline. When the current block has been written, thename node will re-replicate it to make up for the missing replica due to the failed data node.Subsequent blocks will be written using a new pipeline with the required number of datanodes
如果复制 block 失败，则写入将失败，并且 HDFS 写入操作将返回错误。在所有副本都已成功写入之前，操作不会被视为完成:
这里是关于 HDFS 高可用性的具体细节。 TL;DR 最后一个 block 在整个写入操作被认为完成之前在所有 副本中进行了验证。仅仅“失败”也是不够的。取而代之的是自动故障转移，包括查找不同的数据节点并将失败的 block 写入它/它们。
关于 block 副本失败的详细信息检测:
http://blog.cloudera.com/blog/2015/02/understanding-hdfs-recovery-processes-part-1/
If the last block of the file being written is not propagated to all DataNodes in the pipeline, then the amount of data written to different nodes may be different when lease recovery happens. Before lease recovery causes the file to be closed, it’s necessary to ensure that all replicas of the last block have the same length; this process is known as block recovery. Block recovery is only triggered during the lease recovery process, and lease recovery only triggers block recovery on the last block of a file if that block is not in COMPLETE state (defined in later section).
关于 block 失败恢复的详细信息:
During write pipeline operations, some DataNodes in the pipeline may fail. When this happens, the underlying write operations can’t just fail. Instead, HDFS will try to recover from the error to allow the pipeline to keep going and the client to continue to write to the file. The mechanism to recover from the pipeline error is called pipeline recovery.
我经历过数十次数据节点/ block 写入失败。但很少经历过成功的写入“不是真的”。由于物理磁盘损坏，那些罕见的事件是 AFAICR。
关于hadoop - HDFS 复制因子 - 最小化数据丢失风险，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30562904/
1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模
假设我有以下类(class):classPersondefinitialize(name,age)@name=name@age=ageenddefget_agereturn@ageendend我有一组Person对象。是否有一种简洁的、类似于Ruby的方法来获取最小(或最大)年龄的人？如何根据它对它们进行排序？ 最佳答案 这样做会:people_array.min_by(&:get_age)people_array.max_by(&:get_age)people_array.sort_by(&:get_age)
我想编写一个ruby脚本来递归复制目录结构，但排除某些文件类型。因此，给定以下目录结构:folder1folder2file1.txtfile2.txtfile3.csfile4.htmlfolder2folder3file4.dll我想复制这个结构，但不包含.txt和.cs文件。因此，生成的目录结构应如下所示:folder1folder2file4.htmlfolder2folder3file4.dll 最佳答案 您可以使用查找模块。这是一个代码片段:require"find"ignored_extensions=[".cs"
之前有人问过这个问题，我发现了以下clip关于如何一次设置一个类对象的所有属性，但由于批量分配保护，这在Rails中是不可能的。(例如，您不能Object.attributes={})有没有一种很好的方法可以将一个类的属性合并到另一个类中？object1.attributes=object2.attributes.inject({}){|h,(k,v)|h[k]=vifObjectModel.column_names.include?(k);h}谢谢。 最佳答案 利用assign_attributes使用:without_prote
安装Rails时，一切都很好，但后来，我写道:rails-v和输出:/home/toshiba/.rvm/rubies/ruby-2.2.1/lib/ruby/site_ruby/2.2.0/rubygems/core_ext/kernel_require.rb:54:in`require':cannotloadsuchfile--rails/cli(LoadError)from/home/toshiba/.rvm/rubies/ruby-2.2.1/lib/ruby/site_ruby/2.2.0/rubygems/core_ext/kernel_require.rb:54:in`r
(跟进我之前的问题，Ruby:howcanIcopyavariablewithoutpointingtothesameobject?)我正在编写一个简单的Ruby程序来在.svg文件中进行一些替换。第一步是从文件中提取信息并将其放入数组中。为了避免每次调用此函数时都从磁盘读取文件，我尝试使用memoize设计模式-在第一次调用后的每次调用中都使用缓存结果。为此，我使用了一个在函数之前定义的全局变量。但是，即使我在返回局部变量之前将该变量.dup为局部变量，调用该变量的函数仍在修改全局变量。这是我的实际代码:#memoizetokeepfromhavingtoreadoriginalfi
我正在尝试将RubyDate对象转换为字符串。日期格式为:Sun,15Sep2013但是，当我使用#to_s将其转换为字符串时，它会给出以下内容:"2013-09-15"相反，我希望它变成:"Sun,15Sep2013" 最佳答案 使用Date#strftime有很多选择require'date'date=Date.parse("Sun,15Sep2013")#=>#date.strftime("%a,%d%b%Y")#=>"Sun,15Sep2013" 关于ruby-将ruby日期
看来我正在回顾SO帖子中采取的步骤:Capybara,PoltergeistandPhantomjsandgivinganemptyresponseinbody.(如果你愿意，可以将其标记为重复，但我包含了一个最小的独立测试用例和版本号。)问题我做错了什么吗？我可以运行另一个可能有助于隔离问题的最小测试吗？文件:pgtest.rbrequire'rubygems'require'capybara'require'capybara/dsl'require'capybara/poltergeist'modulePGTestincludeCapybara::DSLextendselfdeft
我觉得自己像个十足的白痴，但我整天都在研究这个，却一无所获。我重新启动了几次，试图在我的OSX环境、RVM、Brew、Ruby上完全安装Ruby:每次我完成Ruby安装时，它都会在rubygems安装上触底。我不得不重新开始的原因是，在我第一次成功安装(使用打包的一体式RubyInstaller)后，RVM不会在Jewellerybox中更新，所以我无法管理我的gems-这是一个问题通过在/usr/local中而不是在我自己的目录下的系统上的初始Ruby安装。为了解决这个问题，我卸载了我所有的Ruby东西并重新开始。一切正常，直到ruby编译器在安装ruby2.0.0时开始
目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和
