相关文章

这个团队为何实现了大型晚会中的“电影级AR特效”!

2017年江苏卫视跨年晚会上“大鲸鱼飞跃”的AR特效令人难忘,而2018年江苏卫视跨年再一次在AR特效上发力,创造了令人震撼的“巨龙喷火”等视觉特效。这背后都是由同一个团队操刀制作——崔永江和他带领的CCS乐田创意团队。

对于崔永江团队来说,每年年末的江苏卫视跨年晚会筹备也是他们一年当中最为忙碌的时期,“就像是为自己这一年交上一份答卷”。

回顾在江苏卫视跨年晚会现场的那几个小时,CSS创意总监、江苏卫视跨年AR制作导演崔永江心中仍然有着些许的激动。

“这些年,我在现场亲历的晚会有100多场,已经都看麻木了,但这场晚会还是会震撼到我——在现场看的震撼程度,可能比在电视机前看感受要强烈至少5倍。”

2018江苏卫视跨年夜,在总导演姜方明、总导演兼舞美设计唐焱、舞蹈总监阿Kenn、虚拟制作总监崔永江、音响总监金少刚、比利时灯光团队、荷兰视频操控团队,以及荷兰艺术素材设计团队组成的“幕后天团”的保驾护航下,江苏卫视把“亚洲顶秀”的定义又向前进了一步,突破性地创造360度圆形舞台,结合多维度发散型机械灯臂,使得整场晚会现场如同“变形空间站”,“沉浸感”前所未有。

但对于电视机前的观众来说,比灯光舞美效果更能燃爆视觉神经的可能就是如梦如幻的AR增强现实视觉效果了。

无论是飞龙喷火、卡通女孩冰上舞蹈,还是巨人抬起李宇春出场,用崔永江的专业术语来说,都已经是“电影级别的AR特效”了。即使在全世界范围来说,在直播中实现如此难度的AR视觉效果也并不多见。

“电影级AR效果”是如何实现的

AR技术(Augmented Reality),中文意为增强现实技术,是一种将真实世界的信息和虚拟世界的信息集成到一起的技术,是把一些在现实世界里很难体验到的信息和体验,包含视频、音频,甚至味道、环境氛围等,通过计算机技术进行模拟与展现,从而将虚拟的信息应用到真实世界,能够被用户通过视觉、听觉、味觉和触觉感受到。

AR系统中一般都包含四个基本步骤:获取真实场景信息;对真实场景和相机位置信息进行分析;生成虚拟景物;合并视频或直接显示。

实际上,在电视制作领域,从上世纪90年代的图文字幕包装系统开始,到虚拟演播室系统、实时虚拟植入系统,电视工作者一直在通过技术手段将不同的虚拟信息叠加到摄像机拍摄的视频画面之上,以呈献给观众更绚丽、信息更丰富的电视画面。

随着技术的发展,AR特效的应用已然成为当今晚会或活动凸显高级水准的标配。从春晚到各大跨年晚会、天猫“双11”晚会,以及各大商业发布会,AR特效的应用越来越广泛。

和传统虚拟植入的现场调试有所不同,为了确保演员与AR元素之间实时互动关系的准确性并将效率最大化,江苏卫视跨年晚会中的AR场景调试与情景剧排练都是同步进行的,彼此相互协同优化调整。

在AR场景和动画调试过程中,AR制作成员连同导演组和舞美、灯光等各工种人员,共同针对情景剧剧本中的每一个环节,逐一对AR内容的位置、大小、动画速度、光影变化等细节进行调试,并根据调试结果设计每个环节中摄像机拍摄的景别和运动,以及主持人、演员互动AR元素时的站位和动作,反复走场演练,确保录制时的每一个细节都符合节目创意要求。

例如晚会开场舞蹈演员被“炸飞”并凝结的效果,是先由设计人员在三维制作软件中制作出舞蹈演员的形象,再由舞蹈编导按照三维制作的形象去设计服装配饰,并在演出现场结合舞美结构和灯光变化制作动画,调整位置,根据音乐设置“炸飞”的时间点,最终效果由真实的舞蹈演员和虚拟的舞蹈演员配合完成。

2018江苏卫视跨年整场晚会中最为人所难忘的是那条巨龙喷火的震撼场景,而这条巨龙的形象在崔永江的脑海中构思了两个月之久。

整个制作周期耗时一个半月,从龙的模型、形态、毛发、眼神、龙角、龙爪、鳞片、骨骼、尾部,甚至龙身的灯光、巨龙破地屏而出的岩石粒子飞溅,每一个细节都反复推敲、雕琢,前后共测试了6个版本,调试了3种不同的灯光效果,采用大型超级计算机群组进行联合渲染。通常在影视动画中龙身模型的制作为20~25节,而他们单龙身就做了60节。

同时,相比2017年跨年,2018年由于采用圆环形舞美设计,对AR效果的设计水准提出了更高的要求,“圆形舞美让AR就像走钢丝一样,所有的跟踪调试从之前的精准到米提高到了精准到30公分。”崔永江说。

最终,巨龙的调试在不断追求细节、力求精益求精的努力下,终于实现了非一般的电影级AR效果。

实时的电影拍摄——目前最高级别的AR技术呈现

事实上,虚拟现实技术在不少晚会和大型活动中都有应用,大多数观众也都基本见识了这些特别的效果。但在崔永江看来,他要实现的AR,努力追求的最大突破在于增强“现实”,而并强化“虚拟”,“好的AR虚拟技术应该是为视觉加分的,我们拒绝视觉暴力。”

而要实现这种突破,首先是要完成制作流程的修正和升级。崔永江把这种制作过程定义为实时的电影拍摄——目前最高级别的AR技术呈现。

整个制作过程都必须严格遵循电影的制作技术与流程,从创意、设计、制作到执行,每一步都更加高标准地执行。

为此,每一个细节的绘制、每一个分镜头的设计都由专人分工执行,整个团队的工作流程精准到每一分钟。

据崔永江介绍,一个AR效果从策划到实现,从前期到后期,建模、拍摄、前期跟踪、后期跟踪、实时跟踪、渲染调色、合成、虚拟舞美搭建……至少有30个以上的实施环节,无一疏漏才能圆满完成。

“很多硬件无法做到的,需要通过创意和执行来实现。这也是令国外团队惊讶且希望跟我们学习的。”

“我们采用了全自动化的播控流程,”崔永江解释道,“AR场景的制作是和现场舞台等比例制作的,运动轨迹、速率完全相同。因此,机位的设定要使虚拟与现实完全吻合,场景与旋转速度一帧都不能错。靠人手控制是切换不出这种效果的,我们有无数的分镜头,导播一定要切得非常恰当才能让AR效果呈现出来。”

晚会上,在周华健与卡通女孩洛天依合唱的《冰雪奇缘》中,洛天依从中心舞台通过滑冰的方式滑出、跳向高空进行旋转换装,洛天依挥手出现冰桥和城堡,从冰桥上走向升高的中心舞台……

为了实现这些创意,洛天依制作团队设计了全新的服装,洛天依的滑冰镜头更是邀请了专业滑冰运动员进行动作捕捉,拍摄场地租用了专业的滑冰场,彩排时与周华健多次磨合,导播团队也从各个角度进行尝试,以呈现最好的舞台效果。

除此之外,AR特效的实现对与歌手的配合也是有要求的。周华健与卡通女孩合唱时,虽然在现场看不见虚拟的女孩,但他必须感觉像女孩在现场一样,与她动情地合唱,甚至进行眼神交流。

这就如同电影拍摄中,将演员置身于虚拟的环境中。整个环节的策划、执行都需要AR制作团队、节目导演团队与歌手之间精密配合,反复彩排。

另如2017年江苏卫视跨年晚会中林俊杰坐在巨大的猛犸象上演唱,林俊杰要表现出自己骑到大象、坐到王座、升空落地的感觉。这些细节之处,往往决定着整个效果的逼真与否。

曾经一度有观众在网上问道,这是国外团队制作的吧?为此,崔永江还专门回复说:很肯定地告诉大家,这都是中国人做的。

新标杆下的未来AR发展趋势

近几年,AR技术的应用为电视屏幕增添了全新的活力,在这方面,节目创新设计的需求也在逐年递增。

AR技术在电视领域的进一步发展与应用还有着更加广袤的空间,尤其是在软硬件系统飞速发展、不断更新换代的今天,光学跟踪技术、动作捕捉技术、虚拟现实技术(Virtual Reality,VR)等新技术、新手段的引入给电视节目中的AR应用带来了新思路,拓展了节目需求和创意。而这些新的需求和创意,也代表着AR技术在电视领域中更加蓬勃的生命力。

未来,AR技术同VR技术的融合发展势必能为参加节目录制的现场观众和电视机前的电视观众带来全新的收视体验,催生全新的视听产业机会。

不过,在技术不断发展,视觉呈现元素不断增加的当下,各种技术手段之间的融合成为大势所趋,观众已经不以单独的舞美、灯光、虚拟包装效果作为评价标准,而是去欣赏整体大舞美的视觉效果——“1+1>2”才是制作团队追求的目标。

即使是江苏卫视跨年演唱会这样一台充满技术亮点的晚会,各位技术负责人也都反复强调——技术是为节目内容服务的,“唯技术论”显然行不通,能与节目融合、为节目添彩的技术手段才是好的技术。

附:CCS乐田创意近年部分视效作品

2018年

《烎-2018潮音发布夜》AR角色互动、多AR机位融合等

江苏卫视跨年演唱会

2017年

《天猫双11购物狂欢节》虚拟广告植入、虚拟观众等

《机智过人》AR大屏阵列与真实大屏阵列互动

《2017UP腾讯互娱发布会》游戏AR角色互动

江苏卫视跨年演唱会

《2017球球大作战总决赛暨年终盛典》AR开场

2016年

《超级女声》赛制策划、大数据分析

《夏日甜心》计分系统、排名系统、弹幕数据整合

《天猫双11购物狂欢节》虚拟广告植入、大屏游戏互动

《央视中秋晚会》户外AR昔日城市景观

2015年

《天猫双11购物狂欢节》虚拟广告植入、大屏游戏互动

《安利20周年庆典》AR开场、场景呈现

《腾讯NBA》栏目包装与虚拟演播室设计

2014年

湖南卫视跨年演唱会

《直播港澳台》中国第一个仿真实景演播室

《第十届金鹰电视艺术节颁奖晚会》实时在线包装

2013年

《中国最强音》

湖南卫视跨年演唱会

江苏卫视春晚

《快乐男声》

2012年

湖南卫视跨年演唱会

《第九届金鹰电视艺术节颁奖晚会》实时在线包装

2011年

深圳大运会虚实结合实时数据可视化设计

《快乐女声》大型舞台虚拟现实设计、在线包装设计

2010年

广州亚运会在线包装与实时数据可视化设计

湖南卫视跨年演唱会

(柳然,“广电独家”记者,专注于综艺、影视行业动态解读及人物观察。)