jjzjj

java - 运行 Hadoop : insufficient memory for the Java Runtime Environment to continue

coder 2024-01-09 原文

我有一个在 3gb 内存上运行的 32 位 linux 系统。当我尝试运行 hadoop 示例时，它失败了，说没有足够的内存分配给 jre。生成的结果是:

hadoop jar mapreduce/hadoop-mapreduce-examples-*.jar grep input output ‘dfs[a-z.]+’
15/01/11 10:17:04 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032
15/01/11 10:17:05 WARN mapreduce.JobSubmitter: No job jar file set.  User classes may not be found. See Job or Job#setJar(String).
15/01/11 10:17:05 INFO input.FileInputFormat: Total input paths to process : 7
15/01/11 10:17:06 INFO mapreduce.JobSubmitter: number of splits:7
15/01/11 10:17:06 INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name

15/01/11 10:17:06 INFO Configuration.deprecation: mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class
15/01/11 10:17:06 INFO Configuration.deprecation: mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir
15/01/11 10:17:06 INFO Configuration.deprecation: mapreduce.reduce.class is deprecated. Instead, use mapreduce.job.reduce.class
15/01/11 10:17:06 INFO Configuration.deprecation: mapreduce.outputformat.class is deprecated. Instead, use mapreduce.job.outputformat.class
15/01/11 10:17:06 INFO Configuration.deprecation: mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class
15/01/11 10:17:06 INFO Configuration.deprecation: mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir
15/01/11 10:17:06 INFO Configuration.deprecation: mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir
15/01/11 10:17:06 INFO Configuration.deprecation: mapreduce.combine.class is deprecated. Instead, use mapreduce.job.combine.class
15/01/11 10:17:06 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
15/01/11 10:17:06 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name
15/01/11 10:17:06 INFO Configuration.deprecation: mapred.output.key.class is deprecated. Instead, use mapreduce.job.output.key.class
15/01/11 10:17:07 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1420951126090_0001
15/01/11 10:17:07 INFO mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.
15/01/11 10:17:07 INFO impl.YarnClientImpl: Submitted application application_1420951126090_0001 to ResourceManager at /127.0.0.1:8032
15/01/11 10:17:07 INFO mapreduce.Job: The url to track the job: http://:8088/proxy/application_1420951126090_0001/
15/01/11 10:17:07 INFO mapreduce.Job: Running job: job_1420951126090_0001
15/01/11 10:17:16 INFO mapreduce.Job: Job job_1420951126090_0001 running in uber mode : false
15/01/11 10:17:16 INFO mapreduce.Job:  map 0% reduce 0%
Java HotSpot(TM) Server VM warning: INFO: os::commit_memory(0xa7b5d000, 32768, 1) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 32768 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/local/hadoop-2.2.0/share/hadoop/hs_err_pid5496.log
#
# Compiler replay data is saved as:
# /usr/local/hadoop-2.2.0/share/hadoop/replay_pid5496.log

是因为我的硬件配置还是hadoop的一些设置错误？

最佳答案

这表示您的虚拟内存已用完，请尝试增加交换空间，或减少堆以将程序的其余部分留给虚拟内存。一个 32 位程序被限制为 ~3 GB 的虚拟内存总量，所以如果它全部分配给堆，这不会为程序运行留下太多空间。相比之下，一个 64 位程序被限制为 128 TB 256 TB，具体取决于操作系统。

顺便说一句，在 Windows 上，一个 32 位程序被限制为大约 1.5 GB 的虚拟内存。

由于 hadoop 是一种大数据解决方案，它通常在更大的机器上运行。例如256 GB 到 1 TB 并不罕见。考虑到现在 32 GB 非常便宜，我会考虑至少买这么多，或者更多的内存。

关于java - 运行 Hadoop : insufficient memory for the Java Runtime Environment to continue，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27884107/

insufficientEnvironmentmapreduceINFOConfigurationjavalinuxhadoop

有关java - 运行 Hadoop : insufficient memory for the Java Runtime Environment to continue的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  3. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  4. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  5. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  6. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/

  7. ruby-on-rails - 无法让 rspec、spork 和调试器正常运行 - 2

    GivenIamadumbprogrammerandIamusingrspecandIamusingsporkandIwanttodebug...mmm...let'ssaaay,aspecforPhone.那么，我应该把“require'ruby-debug'”行放在哪里，以便在phone_spec.rb的特定点停止处理？(我所要求的只是一个大而粗的箭头，即使是一个有挑战性的程序员也能看到:-3)我已经尝试了很多位置，除非我没有正确测试它们，否则会发生一些奇怪的事情:在spec_helper.rb中的以下位置:require'rubygems'require'spork'

  8. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  9. ruby-on-rails - before_filter 运行多个方法 - 2

    是否有可能:before_filter:authenticate_user!||:authenticate_admin! 最佳答案 before_filter:do_authenticationdefdo_authenticationauthenticate_user!||authenticate_admin!end 关于ruby-on-rails-before_filter运行多个方法，我们在StackOverflow上找到一个类似的问题： https://

  10. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

随机推荐