数据管理之校验和+哈希值检验数据完整性(中)

影视制作

·文件内容错误:出现这种问题有几种不同的可能原因:这可能发生在数据块写入过程中出现混乱的时候,比如多线程问题或错误。数据块被分配到卷上但没被写入时也会发生这种情况。此时格式化摄影机卡前已经写入的旧内容就可能“喧宾夺主”,显示为错误内容。另一种可能性是在传输或存储过程中出现位错误,比如组件或存储/内存出现故障或不可靠。文件的内容也可能完全错误或损坏,比如文件系统结构损坏。

·编辑时改了文件:比方说,软件打开文件时覆盖了整个文件或文件的部分内容,此时文件可能会被编辑改动,这可能是用户的无心操作,或用户没能发现这些变动。

如何实现数据完整性

好,咱不提那些“恐怖场景”了。你现在可能会问自己,为了协助维护数据完整性,自己已经做了哪些工作。下面我们将向你介绍有助于检测上述问题的核心概念:独立文件校验和的计算和验证。

首先,让我们看看校验和是什么,如何使用哈希值算法来创建校验和,以及如何使用它们来检查文件内容的完整性。

为了在传输或存储过程中检测文件中的错误,你通常需要创建校验和。此处的理念是用一套算法(校验和函数),从任意大小的数据块(比如校验的文件本身)创建一小块数据(校验和)。好的校验和函数能实现这一点:在给定文件内容任意部分发生变化时,其校验和会有非常(非常、非常)高的概率变得不同。校验和函数也是确定性的,因此你可以随时重新计算校验和。

换句话说:

当你在文件被传输或复制后计算校验和,你可以通过比较此时算出的校验和和之前为该文件(比如在源卷上)算出的校验和,以非常(非常、非常)高的概率确保其内容保持不变。如果两个校验和不相等,则可以肯定文件内容出现了变更。如果校验和相等,则可以认为文件内容未被修改。

这是在软件内以校验和检测文件更改以检查文件完整性的基本原则。

校验和方式很多样,有些用于非常小的数据片段,有些甚至用于错误校正。但确保文件数据完整性最适合和最常用的校验和函数是哈希值算法。


出处:Pomfort

编译:Charlie | 盖雅翻译小组


系列阅读:数据管理之校验和+哈希值检验数据完整性

views
影视制作
Netflix《雷普利》另辟蹊径的摄影幕后

〖更新至3-7〗导演泽里安与DP艾斯威特为这部剧赋予了令人难忘的审美内聚力和激进的野心,摄影与布光充满趣味、冒险与惊喜。

影视制作
QC系列文之混叠与摩尔纹

〖更新至2-6〗混叠效应非常普遍,本文将探讨这种错误的技术背景及原因,并聚焦于如何使用Silverstack来确定来源,以及如何预防。

影视制作
用数字调色:何时使用色彩示波器(以及何时不使用)

〖更新至6-9〗色彩示波器能帮助你评估图像的客观元素——例如亮度、色彩饱和度——从而帮助你更快地做出主观创意决策。