jjzjj

hadoop - 在哪里可以找到安装和运行 cascading.jruby 的教程？

coder 2024-01-07 原文

我安装了 Hadoop 并且测试正常，但是无法在

上找到关于 n00b 的任何说明

如何设置级联和 cascading.jruby。在哪里放置级联 Jar 以及如何配置 jading 以正确构建 ruby​​ 程序集？

是否有人使用 jenkins 自动构建它？

编辑:更多细节 我正在尝试从 https://github.com/etsy/cascading.jruby 构建示例字数统计作业

我已经安装了

  1. hadoop，并成功运行测试。
  2. 安装jruby
  3. gem 安装 cascading.jruby
  4. Jade - https://github.com/etsy/jading

  5. 安装 Ant

  6. 创建了 wordcount 示例 wc.rb

  7. 运行jade将wc.rb编译成jar

    Jade wc.rb

  8. 我得到以下编译错误

    构建文件:build.xml 不存在! 构建失败 RuntimeError:Ant 检索失败 (根目录)在/usr/bin/hjade:89

从 jade 代码来看哪个有意义，但是示例用法中没有涵盖？我在这里缺少什么？

最佳答案

抱歉耽搁了；这是我的第一个答案，在这里。

您描述的问题，Jading 在从符号链接(symbolic link)调用时无法定位其 Ant 构建脚本，确实是一个问题。我建议只将您的 Jading 克隆添加到您的 PATH 而不是创建符号链接(symbolic link)(或提交拉取请求以修复 issue !)。

为了解决您的一些其他问题，我创建了一个 Getting Started Jading wiki 中的页面可能会有一些帮助。它会引导您启动并运行本地和远程 cascading.jruby 作业，而无需安装除 preqs(Java、Ant、JRuby 和 Hadoop 客户端+配置)之外的任何东西。现在包括一个完整的示例 wordcount 脚本，它应该在本地和 Hadoop 集群上运行，并且已经在 Etsy 自己的内部集群上进行了测试。

并进一步备份以解决您关于 Jenkins 的问题，是的，在 Etsy，我们使用 Jenkins 来构建和部署 cascading.jruby(和 Scalding)到我们的集群。但是，该构建过程当前不使用 Jading 来生成作业 jar。我们的构建早于 Jading，而 Jading 是试图发布我们构建该 jar 过程的更清洁版本。我们的构建可以轻松使用 Jading(原始示例来 self 们代码的实际使用)，但我们对构建生成的工件的要求略有不同。

如果您对 Jading 有任何其他问题，请随时向 github 项目提交问题或拉取请求。

关于hadoop - 在哪里可以找到安装和运行 cascading.jruby 的教程？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15449668/

cascadinghadoopsectionJadingjruby

有关hadoop - 在哪里可以找到安装和运行 cascading.jruby 的教程？的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  3. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  4. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  5. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  6. ruby - 我可以使用 Ruby 从 CSV 中删除列吗？ - 2

    查看Ruby的CSV库的文档，我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列，但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  7. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  8. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  9. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  10. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

随机推荐