4K|4K葫芦娃重生：秘密就藏在这里( 三 ) 葫芦娃|4K葫芦娃重生：秘密就

文章图片

在首批修复的动画作品中，经典水墨剪纸动画《葫芦兄弟》也在其中，这部根据民间文学《十兄弟》改编的极具神话色彩的动画片，是70、80后的共同回忆。为了保留水墨和剪纸独有的艺术感，赵世杰坦言，他们修复《葫芦兄弟》时多次与制片方讨论方案，经过反复测试和调优才达到理想效果。
在算法方面，为了防止“误伤”水墨朦胧的艺术效果，他们在消除瑕疵算法上没有设置很高的强度，而是“故意”漏掉一部分瑕疵交由人工辅助处理。对损伤严重的老片来说，彻底消除瑕疵需要投入大量人力。火山引擎修复数据显示，算法能够直接消除95%以上的瑕疵，余下的经过人工标注后再调整算法做二次优化。
据了解，此次4K修复使用了火山引擎智能处理产品中的部分技术能力，通过超分辨率、智能插帧、智能降噪、色彩增强等算法增强视频画质。其修复过程大致为，先利用视频降噪算法做前期处理，再进一步通过几类不同的超分辨率算法增强将画幅扩大到4K分辨率，并生成更精细的细节，最后再通过插帧算法网络和HDR重制算法，将一个原本充斥着噪声和压缩损伤问题的视频增强为一个主观画质舒适的4K 60帧HDR节目。以下为各项功能及优势的简单介绍：
智能超分：根据已有的图像、视频信息重构缺失的细节，解决老片普遍存在的模糊、清晰度差、分辨率低的问题。
超分辨率 (Super-Resolution，简称超分）在视觉处理方面的广泛应用，使其有了非常成熟的解决方案。火山引擎的技术创新主要体现在时域建模和自适应处理。前者可自动生成恢复出额外的细节，后者可对视频或图像进行“区域分片”处理，以确保不同视频/图像区域的风格和美感。
智能插帧：使用深度学习算法，将低帧率视频通过插帧的方式变为高帧率视频，让视频变得更顺滑流畅。
老动画片容易出现卡顿、流畅度不佳的现象，主要是因为影片绘画帧数少。智能插帧技术的功效就是通过分析前后帧的动态和内容，生成中间帧，进而提升视频帧率和流畅度。关于动画纹理少的问题，现阶段的解决方案难以判断前后帧对应的运动块，针对这个问题，火山引擎采用块光流进行优化，提高了插帧的精准度。
视频降噪：消除胶片存放以及转录过程中带来的各种噪点以及闪烁等缺陷。
常见的视频降噪算法在消除噪声的同时，容易对纹理区域有破坏，火山引擎方案通过对纹理、噪声的智能分析，在去噪的同时尽可能地保留视频原有纹理不受影响。
划痕修复：对视频中胶片的划痕损伤进行识别和修复。
对于常见的胶片划痕，考虑到修复难度和效果，火山引擎采用了“算法+人工”相结合的解决方案。从现有研究来看，如果使用纯AI技术进行修复，密集且微小的划痕很难被全部发现，也容易出现“误伤”的情况；相对来说，人工修复的效果会更好，但它需要更多的时间和资金，效率反而降低了。火山引擎的方案是先使用算法初步修复小划痕，人工标注算法再“查漏补缺”，修补大的划痕，实验证明，算法对通过人工标注的结果进行再修复，所达到的效率和效果都是最优的，而这一点也恰好体现了火山引擎“虽有先进音视频技术，却不唯技术”的理念。
锯齿修复：针对影片下采样时出现的锯齿线条和频谱混淆，有针对性设计了一个独立算法。
锯齿修复所要解决的关键问题是锯齿定位。与划痕不同，并不是每一张图像都会出现锯齿线条。火山引擎多媒体实验室团队经过多次尝试和实验，发现锯齿效应通常是由数字化扫描不精准引入的，目前业界的修复算法和工具都没有相对应的解决方案。所以火山引擎针对性地设计了一套优化算法，使锯齿的修复效果得到了很大的改善。