我正在阅读 Apache Crunch documentation我发现了以下句子:
Data is read in from the filesystem in a streaming fashion, so there is no requirement for the contents of the PCollection to fit in memory for it to be read into the client using materialization.
我想知道以流式方式从文件系统读取是什么意思，如果有人能告诉我与其他读取数据的方式有什么区别，我将不胜感激。
我想说这个概念也适用于其他工具，例如 Spark。
最佳答案
假设您的文件系统上有一个英文文件，您需要将其翻译成德文。你基本上有两个选择。您可以将整个英文文件作为一大批加载到内存中，一次翻译整个批处理，然后将新的德文批处理写回文件系统。
或者您可以逐行进行。阅读英文第一行；翻译成德语并写入新文件；用英文阅读第二行并翻译成德文并附加到新文件中；等等。
后一种方法类似于 Apache Crunch 文档中描述的流方法。
PCollection 之于 Crunch 就像 RDD 之于 Spark —— 框架的基本分布式数据抽象，但 Crunch 在更高的抽象层次上运行。它试图为跨技术的数据管道提供一个很好的 API。
例如，您可能在 Hive 中拥有您的数据，您可以对其进行可靠的查询；这些查询的输出作为在 HBase 中存储数据的遗留 MapReduce 作业的输入；这些数据由 Spark 的 MLLib 机器学习库进行分析，结果最终发送给 Cassandra。 Crunch 试图通过 PCollection 抽象将所有这些连接在一起，但它的流式处理方法意味着您不必在下一个工作开始之前等待一个工作完成。与逐行文件翻译一样，您一次处理一点，然后将每一位移动到管道的每个阶段，而不是分批进行。
您说得对，流式处理的概念适用于像 Spark 这样的工具(最明显的是 Spark Streaming)，但正如我所提到的，Spark 的工作抽象级别低于 Crunch。 Spark 作业可能只是 Crunch 管道的一部分。但流式传输确实是一种强大的范例。它是 Kappa Architecture 的基础由 Jay Kreps(前身为 LinkedIn，现为 Confluent，先驱 Apache Kafka )设计，作为基于批处理的 Lambda Architecture 的更简单但更强大的替代方案由 Nathan Marz(前身为 Twitter)设计。
最后，选择是在抽象级别(Crunch 高于 Spark)和一次操作一批还是逐位操作之间做出选择。
关于hadoop - read data as "streaming fashion"是什么意思？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43647168/
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou
我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返
为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar
它不等于主线程的binding，这个toplevel作用域是什么？此作用域与主线程中的binding有何不同？>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是，TOPLEVEL_BINDING始终引用Binding的预定义全局实例，而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层，它们都包含相同的绑定(bind)，但它们不是同一个对象，您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput
我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN？它们是对象、关键字还是其他东西？ 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串
