jjzjj

c# - 是否可以复制 .NET HashAlgorithm(用于重复的增量哈希结果)?

coder 2024-05-30 原文

我有以下用例:

  • 从一个文件中读取n个字节
  • 计算这 n 个字节的 (MD5) 散列
  • 从文件中读取下m个字节
  • 为最多 n+m 字节的文件计算 (MD5) 哈希

增量散列文件不是问题,just call TransformBlock and TransformFinalBlock .

问题是我需要共享其起始字节的多个数据散列,但在我调用 TransformFinalBlock 读取第一个 n 的 Hash 之后 bytes 我不能继续使用同一个对象进行哈希处理,需要一个新对象。

搜索问题时,我看到 Python以及OpenSSL可以选择为此目的复制哈希对象:

hash.copy()

Return a copy (“clone”) of the hash object. This can be used to efficiently compute the digests of strings that share a common initial substring.

EVP_MD_CTX_copy_ex() can be used to copy the message digest state from in to out. This is useful if large amounts of data are to be hashed which only differ in the last few bytes. out must be initialized before calling this function.

尽我所能搜索,我无法找到库存 C# HashAlgorithm 中的任何内容这将允许我有效地 Clone() == 复制这样一个对象 before 调用它的 TransformFinalBlock 方法——然后继续散列其余部分克隆的数据。

我找到了一个 C# reference implementation for MD5可以简单地调整以支持克隆(*),但强烈希望使用现有的东西而不是将这样的东西引入代码库。

(*) 事实上,据我所知,任何我费心检查的哈希算法(与加密/解密相反)都是可简单复制的,因为这种算法的所有状态都是摘要的一种形式。

我是不是遗漏了什么,或者标准的 C#/.NET 接口(interface)实际上没有提供复制散列对象的方法?


另一个数据点:

Microsoft 拥有 用于 crypto services 的 native API有一个函数 CryptDuplicateHash ,哪个州的文档,引用:

The CryptDuplicateHash function can be used to create separate hashes of two different contents that begin with the same content.

从 Windows XP 开始就存在。 :-|


请注意。 MD5:用例不是加密敏感的。只是可靠的文件校验和。

最佳答案

我知道这并不完全是您所要求的,但如果这与您要解决的问题相符,那么它是一种替代方法,可以为您提供相同的保证和类似的流媒体性能特征。我过去曾将其用于服务器到服务器的文件传输协议(protocol),其中发送方/接收方并不总是可用/可靠。诚然,我可以控制线路两侧的代码,但我知道你可能无法控制。在那种情况下,请忽略 ;-)

我的方法是设置 1 个 HashAlgorithm 来处理整个文件,另一个 HashAlgorithm 用于散列文件的固定大小的 block ——不是滚动散列(避免你的问题),而是独立的散列。因此,想象一个 1034MB(1 GB + 10 MB)的文件在逻辑上分成 32MB 的 block 。发送方加载文件,同时在文件级和 block 级 HashAlgorithm 上调用 TransformBlock。当它到达 32MB 的末尾时,它在 block 级上调用 TransformFinalBlock,记录该 block 的散列,并为下一个 block 重置/创建一个新的 HashAlgorithm。当它到达文件末尾时,它在文件级和 block 级哈希器上调用 TransformFinalBlock。现在发送方有了一个传输“计划”,其中包括文件名、文件大小、文件哈希以及每个 block 的偏移量、长度和哈希。

它将计划发送给接收者,接收者要么为新文件分配空间(文件长度 % block 大小告诉它最后一个 block 小于 32MB),要么打开现有文件。如果文件已经存在,它会运行相同的算法来计算相同大小块的哈希值。与计划的任何不匹配都会导致它仅向发送者询问这些 block (这将说明尚未传输的 block /全 0 和损坏的 block )。它循环执行此操作(验证、请求 block ),直到没有什么可请求的为止。然后它根据计划检查文件级哈希。如果文件级散列无效但 block 级散列均有效,则可能意味着散列冲突或内存损坏(这两种情况都极为罕见……我使用了 SHA-512)。这允许接收方从不完整的 block 或损坏的 block 中恢复,最坏情况的惩罚是必须再次下载 1 个坏 block ,这可以通过调整 block 大小来抵消。

关于c# - 是否可以复制 .NET HashAlgorithm(用于重复的增量哈希结果)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26123689/

有关c# - 是否可以复制 .NET HashAlgorithm(用于重复的增量哈希结果)?的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息? 最佳答案 在Rails3中,update_all不返回任何有意义的信息,除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  3. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  4. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  5. ruby - 我可以使用 Ruby 从 CSV 中删除列吗? - 2

    查看Ruby的CSV库的文档,我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列,但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  6. ruby - 检查数组是否在增加 - 2

    这个问题在这里已经有了答案:Checktoseeifanarrayisalreadysorted?(8个答案)关闭9年前。我只是想知道是否有办法检查数组是否在增加?这是我的解决方案,但我正在寻找更漂亮的方法:n=-1@arr.flatten.each{|e|returnfalseife

  7. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗? - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后,每个操作都应在S3上回滚。S3Object这可能吗?? 最佳答案 虽然S3API具有批量删除功能,但它不支持事务,因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST),因此每个上传操作都是通过一个独立的API调用完成的

  8. ruby - 如果指定键的值在数组中相同,如何合并哈希 - 2

    我有一个这样的哈希数组:[{:foo=>2,:date=>Sat,01Sep2014},{:foo2=>2,:date=>Sat,02Sep2014},{:foo3=>3,:date=>Sat,01Sep2014},{:foo4=>4,:date=>Sat,03Sep2014},{:foo5=>5,:date=>Sat,02Sep2014}]如果:date相同,我想合并哈希值。我对上面数组的期望是:[{:foo=>2,:foo3=>3,:date=>Sat,01Sep2014},{:foo2=>2,:foo5=>5:date=>Sat,02Sep2014},{:foo4=>4,:dat

  9. ruby - 检查字符串是否包含散列中的任何键并返回它包含的键的值 - 2

    我有一个包含多个键的散列和一个字符串,该字符串不包含散列中的任何键或包含一个键。h={"k1"=>"v1","k2"=>"v2","k3"=>"v3"}s="thisisanexamplestringthatmightoccurwithakeysomewhereinthestringk1(withspecialcharacterslike(^&*$#@!^&&*))"检查s是否包含h中的任何键的最佳方法是什么,如果包含,则返回它包含的键的值?例如,对于上面的h和s的例子,输出应该是v1。编辑:只有字符串是用户定义的。哈希将始终相同。 最佳答案

  10. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

随机推荐