AI視頻算法族是數碼視訊提出的一系列用于提升視頻品質的AI算法,其中,最典型的超分辨率、增強、還原、修復這四種AI算法,可以從客觀指標和主觀觀感兩個方面,提升視頻的質量。適用于老片翻新、高清轉4K、偽4K增強至4K等方面。以下這個應用實例,就是AI視頻算法族的一個實際應用場景,最終將老電影重建為4K內容,主、客觀指標均達到央視4K標準。
將低分辨率視頻重構成高分辨率視頻。相比于很多企業理解的“上變換”,AI超分辨率處理使用了深度學習技術,可通過特征提取,特征維度變換,非線性鏈接,映射,反卷積放大等過程,并經過神經網絡處理,可以讓視頻在提升分辨率的同時,獲得與分辨率同等級的畫質。而上變換僅僅是通過像素的簡單復制與漸變,來填充因為分辨率拉伸而出現的畫面空缺。需要特別強調一下的是,基于深度學習的特性,針對不同類型的內容,分別建立了不同的AI超分算法庫,如旅游、動漫、運動等,讓超分算法在各自專精的視頻領域成熟和精進。
從主觀和客觀指標兩個方面,對內容進行二次提升的增強算法,如去噪,通過噪點捕捉及填充技術,進行全圖去噪,讓畫面更清晰;色域變換,將BT/709映射為BT.2020,使圖像色彩更豐富;智能插幀,將25/30幀的節目變為50/60幀,使畫面更流暢;動態轉換:將SDR變換為HDR;讓畫面對比更強烈等等。通過種種技術的結合使用,提升內容質量,也提升了內容價值
對一些因為過爆、編碼錯誤等導致畫面失真的視頻,通過AI識別和分析,智能還原色彩、景深等,對失真畫面進行逆向修復。對于老舊視頻的翻新具有很好的效果
對于視頻中的毛刺,馬賽克等缺失畫面信息,深度訓練后的AI修復算法通過比歲周圍像素信息,基于圖像特征數據,生成所缺失部分內容。從而達到畫面的完整,清晰,流暢。如果視頻增強、視頻還原等技術屬于“錦上添花”,那么視頻修復就絕對稱得上 “無中生有”。不過視頻修復的效果與算法的成熟程度(不同的聯想與生成策略),學習訓練的數據量(需要大量數據訓練才能獲得比較良好的畫面特征感知效果),還有畫面本身細節變化的豐富性具備強相關性,所以,還有不斷的優化、進步空間