首页 美食 正文

鄂州现代建筑工业化绿色产业转型升级,有这家绿色推手

在电子制造行业,技术始终是第一生产力。

很明显,搜狗一直都未能脱离营收来源单一的质疑,公司在除搜索以外的业务上变现能力严重不足。从人事层面上,今年5月,腾讯新闻负责人王诗沐被调离,耐人寻味的是,腾讯网总编辑贺国帅、副总编辑马腾和杨瑞春也同步卸任。

鄂州现代建筑工业化绿色产业转型升级,有这家绿色推手

据媒体报道,腾讯看点吸收搜狗团队之后,员工总数超过4000人,成为PCG内部员工规模第二大的业务,仅次于OVB(在线视频业务单元)。据此计算,搜狗主营的搜索业务占其总营收超过九成。今年7月18日,看点快报APP也正式关停。据百度百科资料显示,涉及与搜狗合并的腾讯看点部门,做的是信息流内容服务,主要覆盖QQ看点、QQ浏览器看点、看点快报、微信看点小程序、看点视频、看点直播等产品,与搜狗本身的业务重合度较高。根据公告,搜狗宣布与腾讯完成合并,成为腾讯控股间接全资子公司。

卖给腾讯不到一年时间,搜狗原有的大多业务,已经渐渐没了姓名。腾讯平台及内容业务事业群(PCG)随之发布了囊入搜狗后新的组织架构调整,成立信息平台与服务线。AI修复影片早已不是一件新鲜事,随着技术的更新迭代,近段时间AI修复演唱会成了新风口。

视频修复方面,其实火山引擎早在去年就有了动作。压缩存储方面,早期影片隔行扫描的方式造成了交错条纹的瑕疵问题,对画面的美观性和完整性都有较大的影响。不到一年的时间,已经通过AI 技术手段完成了百部经典动画片的修复,其中包括71部影片的4K修复,童年记忆《葫芦兄弟》的播放次数达到300万。火山引擎多媒体实验室研究员赵世杰告诉雷峰网,演唱会的画质修复并非大家想象的那么简单,以Beyond Live 1991 生命接触演唱会为例,由于当时演唱会整体环境较暗,细节不够丰富,场景切换快,灯光以及声音环境复杂等给修复工作带来了严峻的挑战,从而给算法增加了难度。

另外据了解目前业界大部分的人脸修复只是基于单张照片,很难找到基于视频的人脸修复,因为视频中每一帧中脸的角度不一样,各种姿态下的脸都需要算法处理。对于抖音和火山引擎来说,其使命不在于修复一场演唱会,提升画面清晰度和辨识度这么简单,而是通过修复唤起几代人背后的回忆,从而产生共鸣擦出火花,这才是修复的价值所在。

鄂州现代建筑工业化绿色产业转型升级,有这家绿色推手

演唱会中人脸往往会出现多个角度,比如正脸、侧脸、俯视、仰视等,甚至有被乐器遮挡的人脸,如何调节不同景别,不同姿态下人像修复效果且跟背景不同,这就对算法提出了严峻考验。在Beyond这场演唱会修复过程中,音质同样给修复带来了不同程度的困难挑战。其实在画质修复环节,最难的是人脸,这也是观众最在意的点。值得注意的是,此次修复演唱会是由1991 生命接触的演唱会和纪念音乐会音乐会两部分组成。

通过前后对比效果可以看出,在乐手的手部原本有横纹拉丝的问题,并且画面较为模糊,经修复后,无论是琴还是人的手部画面都完美还原了现场的真实感和清晰度。舒晓峰表示,这极大增加了修复难度,为了避免两部分音量不同,对两场演唱会的拼接部分做了响度调整,此外也对前后两部分不同歌手的音量大小做了响度调整,极大提升了听觉体验。基于此,火山引擎通过音频超分算法,对人声部分进行了频带拓展,在不伤害音质的前提下丰富高频信息,使声音从闷变得更清亮。去年10月,西瓜视频就联合火山引擎推出了经典视频4K修复计划。

为此,火山引擎音视频技术团队做了针对性研究,并给出了相应的解决方案。再者,演唱会往往伴有不同的乐器声,观众欢呼声以及现场各种忽大忽小的声音,火山引擎通过响度算法单独提取唱歌部分,然后进行调整,最后混合,使得人声和其他声音的音量配比更加舒适,从而提升观众的听觉感受。

鄂州现代建筑工业化绿色产业转型升级,有这家绿色推手

对于Beyond这类能触发人情怀的经典演唱会更是如此,修复的好可能热评如潮,修复不好可能就是一场悲剧。据介绍,火山引擎视频云通过技术的积累,可以为用户的四大体验负责,包括互动、播放、画质、性能四方面的体验感。

一句今天只有残留的躯壳 迎接光辉岁月 风雨中抱紧自由瞬间将人们拉回了1991年9月Beyond在中国香港红磡体育馆举行的Beyond Live 1991 生命接触演唱会,那场演唱会也成了Beyond播放率最高的一场演唱会。在这种情况下,传统去交错方式一般输入仅做单交错帧,对时域上的内容变化感知较弱,因此对于运动场景的拉丝情况处理较差。另外,色彩、亮度也是修复的一大难点,由于早期拍摄设备的原因,影片存在大量的过曝和死黑场景以及较重的底噪,在亮度调解过程中如何避免底噪被放大,以及如何降低过躁造成的不适感是算法的难点不到一年的时间,已经通过AI 技术手段完成了百部经典动画片的修复,其中包括71部影片的4K修复,童年记忆《葫芦兄弟》的播放次数达到300万。从整体演唱会的主观感受上看,修复后的画面更清晰、更真实。同时对于隔行扫描的视频画面,火山引擎多媒体实验室设计了多帧输入的神经网络去交错法。

在Beyond这场演唱会修复过程中,音质同样给修复带来了不同程度的困难挑战。同时抖音、西瓜视频、今日头条等不同场景还为其提供了试验田。

从修复类型来看,虽然二者都属于视频修复的范畴,但却着较大的差别。另外,色彩、亮度也是修复的一大难点,由于早期拍摄设备的原因,影片存在大量的过曝和死黑场景以及较重的底噪,在亮度调解过程中如何避免底噪被放大,以及如何降低过躁造成的不适感是算法的难点。

为此,火山引擎音视频技术团队做了针对性研究,并给出了相应的解决方案。压缩存储方面,早期影片隔行扫描的方式造成了交错条纹的瑕疵问题,对画面的美观性和完整性都有较大的影响。

此次修复版演唱会,从《光辉岁月》、《海阔天空》再到《不再犹豫》...一首首经典歌曲,吸引了1.4亿人次的在线观看。有用户在评论区留言,修复后的演唱会有一种现场观影的即视感,歌手乐手的脸部以及乐器舞台等细节,清晰可见,有一种置身Beyond Live 1991生命接触演唱会的感觉。其二,设备压缩算法等导致截止效率低带来的带宽不足问题。值得注意的是,此次修复演唱会是由1991 生命接触的演唱会和纪念音乐会音乐会两部分组成。

与传统去交错方式相比,火山引擎设计的多帧输入神经网络去交错法就实现了传统交错法无法达到的技术效果,凭借其泛化性的特点,修复了Beyond演唱会中更多的细节和运动场景下产生的拉丝情况。时隔31年,Beyond再次走进了大众视野。

视频修复方面,其实火山引擎早在去年就有了动作。赵世杰介绍,早期录像设备的解析度比较差,拍摄的画面分辨率低且清晰度差,往往会造成画面模糊、纹理缺失等问题。

火山引擎重点突破,基于深度学习模型,在Beyond演唱会修复中采用自适应人像增强算法进行修复,通过先验特性,在消除人脸模糊和压缩损伤的同时还可以对五官进行重建,甚至可以对发丝等细节和纹理进行重建和添加,做到不同景别、不同姿态下的人脸修复工作,使人脸更为清晰。老旧视频修复,Beyond之后又是谁?AI修复视频,已经成了近两年许多厂商感兴趣且愿意花费时间精力去做的有意义的事情,其也逐渐成为了诸多平台新的增长极。

演唱会中人脸往往会出现多个角度,比如正脸、侧脸、俯视、仰视等,甚至有被乐器遮挡的人脸,如何调节不同景别,不同姿态下人像修复效果且跟背景不同,这就对算法提出了严峻考验。亮度、色彩修复方面,针对Beyond演唱会中存在的老旧视频褪色、颜色异常、过曝、过暗等问题,火山引擎采用了基于美学评分的自适应分区域色彩亮度增强算法。人脸修复方面,演唱会很多片段中的人脸存在较大的彩色噪声,压缩损伤等问题。考虑到这点,火山引擎研发了针对这种多元素场景的音频降噪算法,与传统降噪方案不同的是,该算法兼容了音乐场景和人声场景,可以在保留人说话声、音乐声的前提下,抑制其他噪声。

老旧视频的修复才刚刚开始,从经典动画片到演唱会,再到更多的经典影像修复,仍需要通过不断的技术迭代来实现。通过前后对比效果可以看出,在乐手的手部原本有横纹拉丝的问题,并且画面较为模糊,经修复后,无论是琴还是人的手部画面都完美还原了现场的真实感和清晰度。

去年10月,西瓜视频就联合火山引擎推出了经典视频4K修复计划。从频谱图中可以看到,通过超分模块的处理,原始音频的高频部分得到了拓展和增强。

除了满满的情怀和回忆外,在这场演唱中可以感受到,无论是画面清晰度、色彩饱和度、还是音质降噪等方面都极大地还原了线下演唱会观看的效果,火山引擎就参与了这场演唱会的修复工作,在其算法的加持下,为观众呈现了一场具有情怀的视听盛宴。对于Beyond这类能触发人情怀的经典演唱会更是如此,修复的好可能热评如潮,修复不好可能就是一场悲剧。

打赏
发布评论

  • 获取随机昵称