数据管理之校验和+哈希值检验数据完整性(上)

影视制作

片场数据管理最重要的目标之一是维护拍摄过程中记录、生成所有数据的完整性(integrity)和完全性(completeness)。这是你作为数字影像工程师(DIT)或数据管理员的责任,所以熟悉一些核心概念是很有用的。

本文是包含两部分的系列文章的第一部分,这个系列对数据管理的技术层面进行了基本介绍。我们会细看一下数据完整性究竟意味着什么,可能威胁数据完整性的潜在问题有哪些,以及校验和和哈希值算法如何协助保护数据完整性。

在后面的文章中,我们会接着讨论成功进行数据管理的第二个关键点,聊一聊清单文件以及如何使用它们来维护数据的完整性。但在本文中,我们先来谈谈数据完整性!

数据完整性

保持完整性(或“数据完整性”)意味着确保数据在整个工作周期内都是“正确的”。对于已录制的媒体文件,这意味着文件不会无意中遭到修改,并且包含和摄影机录制时相同的内容。

不过,理论上听起来很简单的事情,在现实中可能会变得棘手。试想一下,当把一个文件从摄影机卡传输到外部硬盘时,需要协同工作的硬件和软件名单会有长长的一串:

·可插拔线缆连接的不同设备

·自身带控制器和连接器的读卡器

·固态硬盘或磁盘控制器组件和缓存

·USB或雷电接口组件

·可能需要一个阵列系统(硬件或软件)

·几套文件系统(可能属于不同类型),有时需要一套虚拟文件系统(如Codex VFS),在需要的时候为卷创建文件数据

·一套带文件读写程序的操作系统,一套访问权限管理系统,RAM中的文件缓存机制,多线程支持

·……以及执行数据传输的应用程序,如Pomfort Silverstack或Offload Manager。

好消息是:文件遭到不必要的意外更改并不常见。但这也不是不可能。实体和交互设备组件的数量、实体连接器和线缆连接、独立电源供应以及不同供应商的固件和软件版本都增加了在某些情况下出错的可能性。那么,潜在的后果是什么?让我们看一些在文件传输或存储过程中可能出现问题的例子:

·空文件:这可能发生在复制期间,创建文件时,写入其内容不成功。可能的原因:存储媒介满了、访问权限不足或创建文件后进程中止。

·文件被缩短:这可能由复制过程中不完整的写入进程导致。可能的原因:拷贝中止、存储媒介满了、电源或连接失败、未能恢复进程。


出处:Pomfort

编译:Charlie | 盖雅翻译小组


系列阅读:数据管理之校验和+哈希值检验数据完整性

views
影视制作
Netflix《雷普利》另辟蹊径的摄影幕后

〖更新至4-7〗导演泽里安与DP艾斯威特为这部剧赋予了令人难忘的审美内聚力和激进的野心,摄影与布光充满趣味、冒险与惊喜。

影视制作
连接片场和后期:Shadow Magic工作室案例介绍

数字化显然会具有颠覆性,当大家对只有特定应用程序才能读取的新的工作流很困惑的时候,我去Apple的网站读了白皮书,突然间我就成了学院里唯一一个会使用RED摄影机的人。

影视制作
QC系列文之混叠与摩尔纹

〖更新至3-6〗混叠效应非常普遍,本文将探讨这种错误的技术背景及原因,并聚焦于如何使用Silverstack来确定来源,以及如何预防。