ProRes 4444编码包含alpha通道,在前期拍摄时使用岂不是浪费存储?

昨天夜里接到一位师弟问的这个问题,一段长达22秒的语音。他问ProRes 4444编码里的第四个4具体指什么?(听到这我在想已经要上大三的人居然连这个都不知道,很明确是alpha通道啊)但是如果是alpha通道的话,为什么要在前期拍摄的时候记录呢?

哎!这是个好问题啊,为什么要在前期拍摄的时候记录alpha通道呢?多一个通道就意味着需要更多的存储空间去记录这部分数据,对于拍摄影机的传感器来讲并没有记录alpha的能力。这不是很没有理由的一件事情么?

我第一反应是,学弟你是不是看错了,拍的是ProRes 444吧。正好手头上有些前段时间用艾丽莎拍摄的素材,用QuickTime打开一看。我去,居然特么真是4444编码。WTF?我不相信,于是我用达芬奇再打开……

sourcecodec

大写的尴尬……先向师弟道歉。

作为师哥,师弟提出了这么好的问题,我得回答他。想来想去,这件事情应该先从ProRes编码入手。正好最近在做Apple ProRes与Avid DNxHR编码之间的对比(没错,不是DNxHD而是DNxHR)手头上有ProRes的技术白皮书,于是翻了翻发现如下解释。

4444

然后发现了一个可怕的事实

family1 family2

根!本!没!有!ProRes 444!这!个!编!码!(赤果果的打脸啊)

于是继续往下翻,在详细内容中找到了重点:

can

注意官方文档中出现can(敲黑板划重点)这里应该不会是过度解释,因为这是一分官方白皮书,这个can表示“可以”。红色下划线的那句话翻译为:(4444中)第四个‘4’表示ProRes 4444 XQ和ProRes 4444同时可以在每个像素位置包含特别的alpha通道。(为什么说特别,因为在这两个编码中,前三个4的量化位深最高是12比特,但是alpha通道最高却可以支持16比特)

答案由此揭晓。

①并没有ProRes 444这个编码。

②在前期拍摄中使用ProRes 4444或者ProRes 4444 XQ编码真正记录下来的有效信息是444,编码只是启用了alpha通道,并没有‘有效的’的数据写入,所以不会出现“浪费存储”的情况。

 

最后分享我找到的技术白皮书:百度云

214557860160220925

 

浅谈影视行业数据恢复的特殊性

数据恢复一般是抢救数据的最后一道防线,由于影视行业与其他行业存在数据结构、数据量、数据类型等差异,造成在数据灾难出现后,恢复数据的成本和难点大大增加。

 

一、数据恢复原理

先给出百度百科提供的词条解释“数据恢复”{当存储介质出现损伤或由于人员误操作、操作系统本身故障所造成的数据看不见、无法读取、丢失。工程师通过特殊的手段读取却在正常状态下不可见、不可读、无法读的数据。}词条中还简单介绍了一些原理及方法。

既然是浅谈,那我就简单给大家打个比方:

①硬盘是怎样存储文件的:硬盘中的数据就像原来纸质版的辞海(就是超大本的字典)一样,有序、目录、索引、正文、注释等等。我们去访问一个数据(打开一个视屏文件)的时候,首先访问硬盘,从序开始看看是不是我要找的那块硬盘,然后看目录和索引,我的文件在不在这里、具体在哪里,然后在硬盘海量存储空间中定位这个数据,一点一点读出来。这是计算机在访问一个文件的时候所做的操作。

②从硬盘上删除文件是怎样做到的:一般情况下,为了节约时间,删除一个文件一般是在目录里面找到描述这个文件的词条和索引把这部分内容抹去,这样在下次访问这部分内容的时候由于目录里没有描述(其实是有的,描述是这部分是空)计算机就认为这部分硬盘空间内没有东西。【还有一种叫做安全删除的技术,就是不仅把目录抹去,同时也把目录指向的硬盘空间也用“空数据”覆盖一遍。就好像辞海里不仅把一个词条从目录里划掉,还把正文里的词条解释那几页用涂改液涂白了。这种删除一般情况是找不回来的】

③数据恢复原理:知己知彼,百战百胜。知道计算机怎么删除文件,那么也就找到了怎么恢复文件的方法——一点一点扫描硬盘,重新构建一份目录直至找到我想要的数据。好比一页一页翻一遍辞海,然后重新编写一分目录,就知道数据在哪了。这样我就找回了一般情况下删除的数据了。

④数据恢复软件:由于本文只是简单介绍数据恢复,真正在实战时根据不同情况需要应用针对性的方法。因此我不具体介绍软件,一来他们很贵,而且不同公司出品的数据恢复软件针对的情况也各不相同。二来数据无价,不推荐没有经验的情况下盲目操作造成二次破坏。(重要提醒:在恢复数据时,对硬盘全盘进行的扫描,会对硬盘寿命造成极大损耗,非服务器级别的硬盘在设计之初并没有考虑到长时间连续不断的数据访问操作。因此全盘扫描会对硬盘产生不可估量的隐藏风险

 

二、影视行业数据类型与数据结构

影视行业的数据和办公类数据有较大差异,主要体现在数据类型和数据结构上。

①影视行业的数据和文件类型:从数据量上讲大部分是媒体数据,不仅有常见的mp4、mov、mp3、jpg、tif、png等,还有不常见的mxf、r3d、ari、dng、wav、omf、aaf、exr、dpx、tga、psd等等。特点是单个文件非常大,通常以GB为单位。(一部30分钟电影短片最终输出成数字电影拷贝DCP大概是40-50GB左右,原始素材一般是10倍大小,再加上还有一些导演不满意,摄影失误忘记关机,制作过程中产生的“中间媒体”文件,通常一个短片项目需要5T左右的磁盘空间,如果影片中有大量特技成分,那对磁盘空间的需求将是成倍增加)。虽然从数据量上是媒体文件最多,但是比其重要的工程文件、元数据(类似索引功能的文件)、场记档案、项目资料等各种文档也有许多。它们非常小,一般以单位是KB,少数文件能够到MB级别。

②影视行业的数据结构:影视行业数字化并没有多少年,随着数据(类型)复杂程度的增加,数据结构也在发生不断的变化。通常一个项目有1)文档类(原著故事、电影脚本、分镜头脚本、分镜、策划案、人员安排、每日通告、场记表等)2)工程文件类(剪辑工程、特效工程、声音制作工程、图片工程等)3)媒体类(分镜画面、预演画面、拍摄记录的视频片段、现场拍摄的图片、声音等)

 

三、影视行业中数据恢复的特殊性

由于影视行业数据有其特殊性,因此在数据恢复上有较大挑战。

首先数据量大:传统方法需要全盘扫描重构文件目录,然后在文件真实内容没有被破坏的前提下,才能从硬盘中抢救出由于误删除、误格式化的文件。但是现在所用的即使是移动硬盘动不动1T、2T,扫描时间非常长,一般3-6小时不等,恢复数据的时候为了不对硬盘内数据本身造成二次破坏,会把找到的数据拷贝到其他空硬盘上,甚至在全盘扫描之前就克隆硬盘镜像到恢复数据用的服务器上,对硬盘镜像进行扫描分析。由此需要大量的时间,一般需要1-2天时间完成一块4T左右硬盘的数据恢复,哪怕只是恢复一个几KB的工程文件或者文档。

其次,数据丢失的原因多。影视行业中由于数据量大,硬盘的工作压力也非常大。目前市场上消费级的硬盘质量把控不严,往往出现非人为由于硬盘本身损坏造成的数据丢失。如果是硬盘硬件方面损坏,那么恢复难度、恢复风险和价格将成倍上升。如果是硬盘中的逻辑层面损坏,恢复难度大、恢复时间不确定、恢复过程中还有可能产生二次破坏,严重的可能会造成硬盘硬件损坏。

 

 

四、针对影视行业的数据备份管理的建议

①请专业人员建立数据中心

②使用专业设备并定期维护(备份)及纠错

③在不了解各种硬盘分区格式、没有专业人士的指导下不建议擅自格式化硬盘

④发生紧急情况时,不要擅自处理,立即停止所有数据访问(包括读取和写入)同时在第一时间联系专业人员,在指导下保护硬盘不遭受二次损坏,必要时候卸载和弹出硬盘

 

最后祝大家永远不需要数据恢复服务

 

五、如需紧急数据恢复服务可以联系我

Hanyuan@BFA

214557860160220925

添加请备注个人信息,谢谢

 

看不见的特技

今天是北京电影学院2016届第二批毕业联合作业的展映。每一部片子都非常出色。其中我参与了《沉默》《别无选择》这两部片子的视效部分。

欣赏两个成片的镜头吧

aftercloud

removed

再让我们来看看他们原来长什么样子吧before_cloudbefore

在观影中如果我不告诉你,可能你都不会想到这些镜头居然是加了特技的吧。

几年前有一部电影叫做《雨果》当时在观看这部电影的字幕的时候,我惊讶的发现这部电影居然有好多特技公司非常多的特技部门参与制作,于是去搜索了这部片子的幕后花絮。看完花絮才知道他是一部不折不扣的大特技片啊。

还记得《阿甘正传》当面凭借特殊的特技拿到奥斯卡奖,片中大量使用现代计算机技术处理包括云层,树叶颜色,阿甘脚上的支架等等。但是在观众观影的时候并不会有,“这个地方加了特技”的感觉,这个片子特技镜头显得非常自然。

现在我们看到的许多电影,多多少少都存在“看不见的特技”

比如第一个镜头,通过特技为本来没有层次的天空添加了云彩(云彩素材图片来自互联网)

cloudnuke_workspace_cloud

合成完成的画面其实并没有那么好看,经过第二次调色之后才有了最终成片的样子

temp_cloudaftercloud

第二个镜头,对右下角黑色行李箱上的一个金色骷髅头进行了擦除

nuke_workspace

removed

对于整个影片来讲,他们都是非常细小的部分,但是必不可少。

在影片播放结束后的主创交流会上,我介绍说是本片的特技师的时候,我同学告诉我说台下有人呵呵一笑,然后说他一定是把特技加在了不需要特技的地方。对于我来说,我看成一种表扬,“看不见的特技”的最终目的就是让观众察觉不到特技的存在,很明显,这位观众的评论反而说明这次特技的成功。

特技在现代电影中无处不在,有些非常绚丽,而有些则默默无闻。就像剧组里有导演有演员广为大家所知,同时也有剪辑有特技在幕后默默无闻地付出。

最后向所有辛勤付出的电影工作者们致敬!

214557860160220925

(图片版权归属影片《沉默》导演)

奔跑在超神的道路上

奔跑吧!大神们!
day 01

cropped-mmexport1462745634538

电影学院第一部3D 4K HFR学生作业终于拍摄完成。其实本来想说顺利拍摄完成的,然而实在说不出口,因为短短2天的3D拍摄我们感觉如同西天取经经历九九八十一难一般。

拍摄的第一天,明明前一天晚上调整好的机器就像发了脾气一样,3D画面视差怎么调都调不到期望的水平;每当调整好了画面,3D支架进行自我检测的时候,又不断的出状况,这里挡着了,那里线扯到了,眼看着到了最后一步却又功亏一篑。最可怕的是第二天拍摄中,一个核心器件3D支架的电源烧毁了,就好像原本我们开着飞机,咔嚓一下子,需要手动推车了(还是一辆刹着手刹的车子)

sdr
现场

这次拍摄的复杂程度与之前2D拍摄完全不是一个数量级,仅仅从2D到3D就多出了IO、Convergence两个参数。这两个参数好比摄影中焦段和焦点一样,它们共同属于前期创作部分,也就是说现在的画面是在美术置景,演员老师创作,灯光布置,摄影师构图,焦点对焦之后,再加上IO与Convergence共同创作出每一格画面,被两台摄影机同时记录下来。

以为这就结束了?不!这才刚刚开始…
4K大家多多少少都听说过吧。普通的电影分辨率是2k(2048×1080 *)4K便是(4096×2160)长和宽分别是普通2k电影的2倍,清晰度理论上是2×2=4倍,同样的,数据量也变成原来2k的4倍。

HFR又是什么?
我们平常在电影院看的电影,2D也好3D也罢,一般是每秒回放24格画面(李安的新电影每秒是120格),我们这次作业每秒拍摄和回放48格。拍摄和回放帧速率大于24格每秒就称之为HFR(High Frame Rate)
同4K一样,这又产生2倍数据量。而且,目前学院几乎没有后期制作的经验。
拍摄的第一天上午导演和摄影最后一次向我确认,能不能拍48格的时候,我坚定的说出:“拍48格,能做”。我知道,这次作业将会因为我的这句话,再次提升难度。这个难度在拍摄现场几乎体会不到,而是在后期制作过程中提出了更高的要求,并且学院还没有相关作业可以借鉴(我们就是喜欢干没人干过的事!)4K, 3D, 48fps=4倍x2倍x2倍=16倍的数据量。每一格最终呈现在大荧幕上的画面,背后是16倍于普通2k,2D电影的制作难度。(呵呵,爽!)

就在第一天上午,我用我的小笔记本进行后期流程测试,拿到的是之前拍摄的2条测试素材,在剪辑流程测试中发现双眼素材并没有完全同步,而是有8帧偏移,还好这不算什么。然而最重要的问题是我们使用的时码发生器(用于同步双机时码和GEN LOCK)的设备居然不能生成每秒48格的时码。它能够生成23.976  24  25  30  29.976  50  59.976  60唯独没有48,它无法理解48是什么,如同我无法理解二次元妹子口中自古红蓝出cp说的是个啥ಠ╭╮ಠ 。在一个小时的不断调整试验之后,终于走通了后期流程。如同一道上锁的门终于被我打开,看到的是一条还没几个脚印的泥浆路,而我决定踩过去…
我站起来走到导演和摄影面前说:“拍48格,能做。”那一刻,成就感爆棚。

现在,前期拍摄已经完成,后期制作开始了

导演亲自打板
导演亲自打版
IMG_20160509_061214.jpg
素材检查
dav
转码

整个世界就好像只剩下我和计算机的呐喊声。我在这个夜里,听着它的嘶吼,安慰它,教它一步一步,站起来走路。

IMG_20160509_061032.jpg
亲爱的硬盘们

这是亲爱的硬盘们
无论是摄影机还是计算机还是硬盘,我都认为他们是有生命的,是鲜活的,是在辛勤工作之后需要安慰的。

大多数人一定无法理解,为什么我们要这么作死。答案很简单,因为我们是“818天团”我们帅!

我是幕后的幕后,剧照里没有我;

放上女主和自动打码的导演

mde
女神和自带马赛克的导演

哦对了,放一张男主的相片

3bf1198b-83fc-4cc7-b51c-74b53d4152bf

嘻嘻(*^ω^*)

我们开始超神啦~

反正也没人看,我就说说我们这学期的期末作业吧。
这学期有3D课(准确来说应该是S3D)所以期末作业自然是S3D拍摄啦。
但是我们作为技术系最牛逼的宿舍怎么可以满足于老师的要求呢?所以我们计划在拍摄S3D的同时使用4K分辨率,并且拍摄HFR(每秒48格,回放也是48格)目前整个电影学院只有我们系内的放映厅能够播放“4K 3D HFR”。所以是牛逼闪闪的片子,作为这个作业的技术支持,我还是用心对待的,毕竟搞不好这就是电影学院第一个“4K 3D HFR”作业了(自然是也是全国第一个)。
So,现在已经确定的事情是:全片时长为1分钟,“4K S3D HFR”,使用2台RED EPIC,3ality Quassar立体支架;后期使用silverstack进行数据备份和元数据录入,Avid Media Composer剪辑,NUKE Ocular 进行立体调整,SGO MISTIKA进行调色输出。
WoW真特么棒,全都没有资料可以用哎!所以,接下来的一段时间就是不断地测试测试测试。
madezhizhang