我什至怀疑这是否可能,但这是问题和建议的解决方案(建议的解决方案的可行性是这个问题的对象):
我有一些需要可用于所有请求的“全局数据”。我将这些数据保存到 Riak 并使用 Redis 作为缓存层以提高访问速度(目前...)。数据被分成大约 30 个逻辑 block ,每个大约 8 KB。
每个请求都需要读取其中的 4 个 8KB block ,从而导致从 Redis 或 Riak 中读取 32KB 的数据。这是对任何也需要读取的特定于请求的数据的补充(这是相当多的)。
假设每秒甚至 3000 个请求(这不是实时服务器,所以我没有真实数字,但 3000ps 是一个合理的假设,可能更多),这意味着 96KBps 从 Redis 或 Riak 传输到从应用程序逻辑发出的已经不重要的其他调用。此外,Python 每秒解析 3000 次这些 8KB 对象的 JSON。
所有这一切——尤其是 Python 必须反复反序列化数据——看起来完全是一种浪费,一个完美优雅的解决方案是将反序列化的数据缓存在 Python 的内存 native 对象中,当所有这些“静态”数据变得陈旧时,我可以定期刷新它。每几分钟(或几小时)一次,而不是每秒 3000 次。
但我不知道这是否可能。实际上,您需要一个“始终运行”的应用程序才能将任何数据缓存在其内存中。而且我知道在 nginx+uwsgi+python 组合中情况并非如此(相对于节点之类的东西)- python 内存中数据不会在所有请求中持久化据我所知,除非我是大错特错。
不幸的是,这是我“继承”的系统,因此无法在基础技术方面进行太多更改,我也不太了解 nginx+uwsgi+python 组合在启动 Python 方面的工作原理处理和持久化 Python 内存数据——这意味着我可能会严重误解我上面的假设!
因此,关于此解决方案是否可行的直接建议 + 引用 Material 可以帮助我理解 nginx+uwsgi+python 在启动新进程和内存分配方面的工作方式,这将大有帮助。
附言:
已经浏览了 nginx、uwsgi 等的一些文档,但还没有完全理解每个用例的后果。希望现在能在这方面取得一些进展
如果内存中的东西可以解决,我会放弃 Redis,因为我只缓存上面提到的静态数据。这使得进程内持久内存中 Python 缓存对我来说更具吸引力,它减少了系统中的一个移动部件,并且每个请求至少有四次网络往返。
最佳答案
您的建议并不直接可行。由于新进程可以在您的控制之外上下旋转,因此无法将 native Python 数据保存在内存中。
但是,有几种方法可以解决这个问题。
通常,您只需要一层键值存储。有时,为值设置固定大小的缓冲区(你可以直接将其用作 str/bytes/bytearray 对象;你需要的任何其他东西 struct 在那里或以其他方式序列化)就是你所需要的。在这种情况下,uWSGI 的内置 caching framework将照顾您需要的一切。
如果需要更精确的控制,可以看看缓存是如何在 SharedArea 之上实现的并做一些定制。但是,我不建议这样做。它基本上为您提供了与文件相同类型的 API,与仅使用文件相比,唯一真正的优势是服务器将管理文件的生命周期;它适用于所有 uWSGI 支持的语言,甚至那些不允许文件的语言;如果以后需要,它可以更轻松地将自定义缓存迁移到分布式(多计算机)缓存。我认为这些都与您无关。
另一种获得平面键值存储但没有固定大小缓冲区的方法是使用 Python 的标准库 anydbm .键值查找就像它得到的一样 pythonic:它看起来就像 dict ,除了它被备份到磁盘上的 BDB(或类似的)数据库中,适本地缓存在内存中,而不是存储在内存中的哈希表中。
如果您需要处理其他一些简单的类型——任何可以非常快速地取消/pickle 的类型,比如 int s—你可能想考虑 shelve .
如果您的结构足够严格,您可以在顶层使用键值数据库,但通过 ctypes.Structure 访问值,或使用 struct 反/序列化.但通常情况下,如果你能做到这一点,你也可以消除顶级,到那时你的整个事情就只是一个大Structure或 Array .
那时,您可以只使用普通文件进行存储——mmap它(对于 ctypes ),或者只是 open和 read它(对于 struct )。
或使用 multiprocessing的 Shared ctypes Objects访问您的 Structure直接从共享内存区域中取出。
与此同时,如果您实际上并不总是需要所有缓存数据,只是偶尔需要一些零碎的数据,这正是数据库的用途。同样,anydbm等可能是您所需要的全部,但如果您的结构很复杂,请绘制一个 ER 图,将其转换为一组表,然后使用 MySQL 之类的东西。
关于python - 用于 nginx/uwsgi 服务器的持久内存中 Python 对象,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15443732/
作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时,它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器?这是不可能的吗?谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..
大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje
我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server
最近,当我启动我的Rails服务器时,我收到了一长串警告。虽然它不影响我的应用程序,但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次?当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗?/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru
在Rails4.0.2中,我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常,但在生产环境中它会抛出如下错误,ActionView::Template::Error(noimplicitconversionofnilintoString)在View中,create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo
我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
对于Rails模型,是否可以/建议让一个类的成员不持久保存到数据库中?我想将用户最后选择的类型存储在session变量中。由于我无法从我的模型中设置session变量,我想将值存储在一个“虚拟”类成员中,该成员只是将值传递回Controller。你能有这样的类(class)成员吗? 最佳答案 将非持久属性添加到Rails模型就像任何其他Ruby类一样:classUser扩展解释:在Ruby中,所有实例变量都是私有(private)的,不需要在赋值前定义。attr_accessor创建一个setter和getter方法:classUs