jjzjj

php - 'safe' json_decode( ,,, ) 以防止耗尽内存

coder 2024-01-03 原文

在我的应用程序中，我经常调用一个返回 json 字符串的外部 api。

$url = 'api.example.com/xyz';
$blah = json_decode( file_get_contents( $url ) );

但在某些情况下我得到

PHP Fatal error: Allowed memory size of xxx bytes exhausted (tried to allocate 32 bytes) in ...

我无法控制外部 API，当然我可以增加 php 的内存，但这有一些缺点。

1- 无论我设置什么尺寸，都可能仍然太小。 2- 如果我将内存大小设置为“无限”，那么我可能会冒着杀死我的服务器的风险。

理想情况下，我想在调用 json_decode( ... ) 之前“检查”字符串是否导致内存耗尽。

这可能吗？

最佳答案

如果它们耗尽了您服务器的内存，您一定会收到一些大量的 JSON 响应。以下是一个 1 MB 文件的一些指标，该文件包含一个多维关联数组(包含准备进入具有不同数据类型的三个 MySQL 表的数据)。

当我 include 并将文件作为数组加载到内存中时，我的内存使用量达到 9 MB。如果我使用 file_get_contents() 获取原始数据，它会按预期占用 1 MB 内存。然后，PHP 数组与数据的 strlen() 的比例大约为 1:9(最初使用 var_export() 输出)。

当我运行 json_encode() 时，峰值内存使用量没有增加。 (PHP 以 block 为单位分配内存，因此通常会有一些开销，在本例中足以包含 JSON 的字符串数据；但它可能会增加一个 block 。)生成的字符串形式的 JSON 数据需要 670 KB。

当我使用 file_get_contents 将 JSON 数据加载到字符串中时，预计需要 0.75 MB 的内存。当我在其上运行 json_decode() 时，它需要 7 MB 的内存。然后，我会将 JSON-data-bytesize 解码为 native PHP 数组或对象 的最小比例为 1:10，以满足 RAM 要求。

要在解码之前对 JSON 数据运行测试，您可以执行如下操作:

if (strlen($my_json) * 10 > ($my_mb_memory * 1024 * 1024)) {
    die ('Decoding this would exhaust the server memory. Sorry!');
}

...其中 $my_json 是原始 JSON 响应，$my_mb_memory 是您分配的 RAM，它已转换为字节以与传入数据进行比较。 (当然，您也可以使用 intval(ini_get('memory_limit')) 将内存限制作为整数获取。)

正如下面所指出的，RAM 的使用也将取决于您的数据结构。作为对比，因为我自己也很好奇，所以多了几个快速测试用例:

    1. 如果我创建一个整数为 1-60000 的一维数组，保存的 PHP 数组大小为 1 MB，但 RAM 使用峰值在 10.5 和 12.5 MB 之间(奇怪的振荡)，或者比率为 1:12-ish .
    1. 如果我创建一个 1 MB 文件的值(value)数据作为 12000 个随机字符串作为基本关联数组，加载时内存使用量仅为 5 MB； 1:5的比例。
    1. 如果我创建一个 1 MB 的文件作为一个类似的关联数组，其中一半的条目是带有数字索引的字符串数组，内存使用量为 7 MB，比例为 1:7。

因此您的实际 RAM 里程可能会有很大差异。另外请注意，如果您循环传递大量数据并做一些这样那样的操作，您的内存使用量可能会增加很多(或呈指数增长，取决于您的代码经济)高于 json_decode() 单独导致的结果。

要调试内存使用情况，您可以在代码的主要间隔处使用 memory_get_usage() 和/或 memory_get_peak_usage() 来记录或输出不同部分使用的内存你的代码。

关于php - 'safe' json_decode( ,,, ) 以防止耗尽内存，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31085943/

耗尽json_decodecode使用量sectionphpjson

有关php - 'safe' json_decode( ,,, ) 以防止耗尽内存的更多相关文章

  1. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  2. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  4. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  5. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  6. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  7. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  8. ruby-on-rails - Rails HTML 请求渲染 JSON - 2

    在我的Controller中，我通过以下方式在我的index方法中支持HTML和JSON:respond_todo|format|format.htmlformat.json{renderjson:@user}end在浏览器中拉起它时，它会自然地以HTML呈现。但是，当我对/user资源进行内容类型为application/json的curl调用时(因为它是索引方法)，我仍然将HTML作为响应。如何获取JSON作为响应？我还需要说明什么？ 最佳答案 您应该将.json附加到请求的url，提供的格式在routes.rb的路径中定义。这

  9. ruby-on-rails - 新 Rails 项目 : 'bundle install' can't install rails in gemfile - 2

    我已经像这样安装了一个新的Rails项目:$railsnewsite它执行并到达:bundleinstall但是当它似乎尝试安装依赖项时我得到了这个错误Gem::Ext::BuildError:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcheckingforlibkern/OSAtomic.h...yescreatingMakefilemake"DESTDIR="cleanmake"DESTDIR="

  10. ruby-on-rails - rspec should have_select ('cars' , :options => ['volvo' , 'saab' ] 不工作 - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion在首页我有:汽车:VolvoSaabMercedesAudistatic_pages_spec.rb中的测试代码:it"shouldhavetherightselect"dovisithome_pathit{shouldhave_select('cars',:options=>['volvo','saab','mercedes','audi'])}end响应是rspec./spec/request

随机推荐