jjzjj

Chunking

全部标签

ruby - 在 Ruby 中将字符串切成给定长度的 block 的最佳方法是什么?

我一直在寻找一种在Ruby中将字符串分块为给定长度的子字符串的优雅而高效的方法。到目前为止,我能想到的最好的是:defchunk(string,size)(0..(string.length-1)/size).map{|i|string[i*size,size]}end>>chunk("abcdef",3)=>["abc","def"]>>chunk("abcde",3)=>["abc","de"]>>chunk("abc",3)=>["abc"]>>chunk("ab",3)=>["ab"]>>chunk("",3)=>[]您可能希望chunk("",n)返回[""]而不是[]。如果

javascript - 使用 Javascript 将文件拆分为 block

我正在尝试获取单个文件对象并按指定的block大小将其拆分为多个block。在我的示例中,尝试将单个文件拆分为1MB的block。因此,我计算出需要多少block,然后我尝试从“偏移量”(我所在的当前block*block大小)开始对文件进行切片,然后切掉一个block大小。我的第一个切片以1MB正确输出,但我的后续切片结果为0,知道为什么吗?在这里有一个工作代码笔:http://codepen.io/ngalluzzo/pen/VvpYKz?editors=001[1]varfile=$('#uploadFile')[0].files[0];varchunkSize=1024*102

go - 新手 : Properly sizing a []byte size in GO (Chunking)

新手警报!不太确定该怎么做-我想做一个“文件分块器”,我从二进制文件中抓取固定的slice,以便以后作为学习项目上传。我目前有这个:type(fileChunk[]bytefileChunks[]fileChunk)funcNumChunks(fios.FileInfo,chunkSizeint)int{chunks:=fi.Size()/int64(chunkSize)ifrem:=fi.Size()%int64(chunkSize)!=0;rem{chunks++}returnint(chunks)}//leftouterrchecksforbrevityfuncchunker(f

c# - 如何计算上传大文件的最佳 block 大小

是否存在处理大文件的最佳block大小这样的东西?我有一个上传服务(WCF),用于接受数百兆字节的文件上传。我试验过4KB、8KB到1MB的block大小。更大的block大小有利于性能(更快的处理),但它是以内存为代价的。那么,有没有办法在上传文件的那一刻计算出最佳的block大小。如何进行这样的计算?是否是可用内存和客户端、CPU和网络带宽的组合决定了最佳大小?干杯编辑:可能应该提到客户端应用程序将在silverlight中。 最佳答案 如果您担心资源耗尽,那么最好根据系统的可用内存评估您的峰值上传并发性来确定最佳设置。您一次同

php - Laravel 分块不会减少 PHP 内存使用

所以我一直在尝试Laravel在Eloquent中的分块,但我遇到了一个问题。考虑以下代码(我的问题的简化版本):$data=DB::connection('mydb')->table('bigdata')->chunk(200,function($data){echomemory_get_usage();foreach($dataas$d){Model::create(array('foo'=>$d->bar,...//etc));}}因此,当我运行以下代码时,我的内存输出如下所示:190398162149009623898816262676402867043231038840因此,

java - Play 2.2 中的 block 响应缓慢

在我基于PlayFramework的Web应用程序中,用户可以下载csv或json格式的不同数据库表的所有行。表相对较大(超过100k行),我正在尝试使用Play2.2中的分块来流回结果。然而问题在于,尽管println语句显示行已写入Chunks.Out对象,但它们并未显示在客户端!如果我限制发回的行,它会起作用,但它在开始时也会有很大的延迟,如果我尝试发回所有行并导致超时或服务器内存不足,延迟会变得更大。我使用EbeanORM,对表进行了索引,从psql查询不会花费太多时间。有谁知道可能是什么问题?非常感谢您的帮助!这是其中一个Controller的代码:@SecureSocial

java - 如何处理服务器上的文件上传 block (Plupload/Spring MVC)?

在我们的客户端上,可以上传大文件。我们想使用分块来减少请求的大小。我们正在使用Plupload,因此很容易以block的形式发送文件。但是,我不确定如何处理这些block。我们在服务器上使用SpringMVC,目前我的Controller方法有以下内容:uploadMedia(@RequestBodyMultipartFilefile)其中MultipartFile是org.springframework.web.multipart.MultipartFile。这在不进行分块时工作得很好。当我在客户端打开分块时,它仍然可以很好地进入此方法,但我在传入的文件上看不到任何标识该block属

java - 对于 Google App Engine (java),如何在 FetchOptions 中设置和使用 block 大小?

我正在运行一个查询,它目前返回1400个结果,因此我在日志文件中收到以下警告:com.google.appengine.api.datastore.QueryResultsSourceImpllogChunkSizeWarning:ThisquerydoesnothaveachunksizesetinFetchOptionsandhasreturnedover1000results.Ifresultsetsofthissizearecommonforthisquery,considersettingachunksizetoimproveperformance.我在任何地方都找不到关于如

python - 使用 NLTK 通过分块进行关系提取

我正在尝试根据Chapter7oftheNLTKbook了解如何使用NLTK的级联分block器.不幸的是,我在执行重要的分block措施时遇到了一些问题。让我们从这个短语开始:"adventuremoviesbetween2000and2015featuringperformancesbydanielcraig"当我使用以下语法时,我能够找到所有相关的NP:grammar="NP:{?*+}"但是,我不确定如何使用NLTK构建嵌套结构。该书给出了以下格式,但显然缺少一些东西(例如,一个人实际上如何指定多个规则?):grammar=r"""NP:{+}#Chunksequencesof

python - 如何在恒定大小的 block 中拆分可迭代

这个问题在这里已经有了答案:HowdoIsplitalistintoequally-sizedchunks?(71个回答)关闭4个月前。我很惊讶我找不到将可迭代作为输入并返回可迭代的可迭代的“批处理”函数。例如:foriinbatch(range(0,10),1):printi[0][1]...[9]或:foriinbatch(range(0,10),3):printi[0,1,2][3,4,5][6,7,8][9]现在,我写了一个我认为非常简单的生成器:defbatch(iterable,n=1):current_batch=[]foriteminiterable:current_b
12