张国荣生前最后一场演唱会视频修复重映
原标题:张国荣生前最后一场演唱会视频修复重映,张国腾讯多媒体实验室详解幕后技术
4月1日晚间,荣生腾讯将在视频号和腾讯视频共同播出张国荣2000年《热.情》演唱会的前最超清修复版,这是后场会视张国荣生前举办的最后一场演唱会。记者 | 崔鹏
环球音乐旗下的演唱映宝丽金唱片公司为腾讯提供了原版演唱会母带,腾讯云、频修微信、复重视频号和腾讯视频参与了本次修复和播出工作,张国其中为视频做修复的荣生是腾讯多媒体实验室,隶属于CSIG(云与智慧产业事业群)。前最
1号当天,后场会视腾讯多媒体实验室相关负责人接受了界面新闻等媒体的演唱映采访,介绍本次修复工作背后的频修技术和故事。
多媒体实验室总监李松南介绍称,复重团队日常的张国工作内容主要有两方面:参与国际国内多媒体(音视频)相关的标准制定;把平时积累的技术提供给其它部门,比如腾讯视频云、媒体AI中台和数据万象都会用到它们的技术。
今年初,在一个偶然机会下,多媒体实验室与环球音乐旗下的宝丽金唱片进行接触,了解到对方拥有张国荣一场演唱会的母带,而每年4月1日文化娱乐业内都会有纪念张国荣的活动,双方都觉得这里有合作机会,就达成了相关意向。
3月初多媒体实验室团队拿到母带,开始正式做修复工作。其中纯算法跑通大概只用了2天,所以在修复工作中,单纯的算法修复环节耗时并不长。
但实验室希望尽量保留演唱会的艺术风格,所以尝试了不同算法和效果,希望能取得比较好的平衡。
目前,对于胶片产品的修复主要有物理修复和数字修复两种,而数字修复也有人工修复和全自动修复两种方式。腾讯多媒体实验室做的是全自动的基于机器学习和深度学习的修复,通过比较少的人力介入,减少后续人工修复的成本。
李松南告诉界面新闻等媒体,“我们的目标是做自动化的修复,算法比较通用,不需要针对性的去做优化”,让这套修复算法能够适配更多类似场景。
图片来源:腾讯
李松南向界面新闻等媒体介绍称,修复流程从算法角度来说主要分为四步:
首先是智能分析模块。主要用来分析视频的质量,包括失帧的类型和程度,人脸的位置等。
其次是修复模块。主要用于修复视频中的各种失帧,比如老片中常出现的噪声、隔行失帧,然后对清晰度低的片段进行超分。
第三是增强模块。主要是让图像本身的内容更清晰,更丰富。
第四是编码模块。在尽量低码率的情况下还原视频内容,因为在直播和点播过程中,对码率有一定要求。
张国荣这场演唱会的时长是两小时,传统人工修复大概需要一两个月时间,但是用纯算法修复大概两天就能跑出结果。剩下的时间,团队都在尽量还原演唱会的艺术表达效果。
在这方面,演唱会视频的修复与传统电影电视剧作品的修复有很大区别。
多媒体实验室此前为腾讯视频的《康熙王朝》等电视剧做过修复,影视剧作品的场景比较固定,人物运动和画面色彩风格都比较统一。
演唱会涉及不同色彩的灯光切换,画面镜头多角度切换,针对同一个人物的远近景和大小脸切换。实验室在此前的修复工作中很少遇到这种复杂的场景,其中尤以动态的人脸修复问题比较棘手。
现在行业内主流的人脸修复大部分是基于单张照片进行,在视频修复上会遇到很多问题,比如脸的角度和姿态不一样,在算法里的解决方式也不同。
另一个干扰项来自于灯光因素,演唱会现场的灯光颜色多变,打到人脸上就会出现很多算法难以处理的问题。
“我们做人脸修复时有个很大的脸特写,那会正好灯光是红色,打到张国荣脸上的时候,脸的颜色就跟正常不同,所以修复的时候人脸模型和修复结果需要专门做优化。”
多媒体实验室2013年刚开始做视频处理时,主要基于传统算法做一些视频降噪和背景增强,后来团队的很多模型依靠AI和深度学习方式在腾讯云上进行,最开始基于卷积神经网络,现在扩展至使用生成网络来进行。
从视频修复对比来看,宝丽金给的母带分辨率非常低,大概只有720×480分辨率,做完修复以后腾讯将其做到了接近4K的分辨率,分辨率大概提升了6倍。
目前,对于老旧影视剧和演唱会作品的修复,业内并没有统一的标准。也就是说,具体修复到什么程度,舞台氛围修复到什么样子才算还原,有没有达到“旧”的效果,比较依赖主观判断,每个人的看法都会不同。
从结果来看,宝丽金公司对修复的效果满意,也表达了后续针对别的IP进行合作的诉求。
- ·这些非法涉诈APP!还有仿冒浦发银行、招商银行的……
- ·美国首次宣布援助乌克兰重型武器 含大口径榴弹炮
- ·一线调查!运费涨数倍,司机不接单?三问疫情下物流“堵”在哪?
- ·湖北新增本土无症状感染者41例
- ·光大期货:11月22日能源化工日报
- ·华泰策略:当降准“遭遇”中美利差倒挂
- ·NFT乱象整治进行时 蚂蚁、微信惩处违规账号超百个
- ·餐饮行业逐步恢复:团购为主,员工住门店,供应链企业卖菜
- ·北京农商银行党委书记付东升:金融精准服务新市民首要是推动金融服务均等化和便捷化
- ·面对超预期挑战 中国经济着力稳中求进
- ·缺乏安全感使美国人民生活在恐惧之中
- ·九安医疗:美国ACC再向公司美国子公司支付货款共计4.11亿美元
- ·货拉拉停运司机自述:如果不是吃不饱饭,怎么会选择停运?
- ·法国消费者价格指数持续走高 面粉和食用油销量上涨
- ·从细从实推进转运隔离 上海隔离房源可满足密接人员隔离要求
- ·兴证策略:供应链冲击或有缓和,布局疫情改善后的投资机会
- ·2021年中国体育服务贸易进出口总额为101.9亿元
- ·法国消费者价格指数持续走高 面粉和食用油销量上涨
- ·雅培陷召回门:超10城多个患儿家庭追问真相
- ·上海:定点医院全力救治 医院急诊确保开放
- ·全球央行观察|恶性通胀成“最后一根稻草”,欧洲央行即将祭出史上最猛加息?
- ·京东调集3246名保供人员支援上海,正协调解决住宿问题
- ·睿创微纳近8个月跌68%,杨锐文为代表的景顺长城买买买,旗下33只基金抱团持有3077万股,或浮亏52%达13亿元
- ·适度调整人才购房政策 上海临港释放合理住房需求
- ·谷歌迄今为止避免了大规模裁员 员工却担心裁员随时可能到来
- ·上海市外卖骑手在岗人数1.8万多人,每天配送单量达180万单左右