沈陽自動(dòng)化所提出基于循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像修補(bǔ)新模型
近日，中國科學(xué)院沈陽自動(dòng)化研究所在自然場景及人臉圖像的修復(fù)領(lǐng)域中取得新進(jìn)展，提出的基于循環(huán)對抗生成網(wǎng)絡(luò)的圖像修復(fù)方法成功應(yīng)用于任意缺失區(qū)域的檢測和修復(fù)。研究結(jié)果2021年發(fā)表在IEEE TRANSACTIONS ON MULTIMEDIA。
圖像缺失區(qū)域的恢復(fù)是圖像處理中的難點(diǎn)問題，是影響目標(biāo)識(shí)別、跟蹤等視覺任務(wù)的精度和魯棒性的重要因素。由于圖像缺失區(qū)域信息的完全丟失和缺失信息的唯一性，因此根據(jù)已知區(qū)域的特征準(zhǔn)確恢復(fù)圖像中的缺失目標(biāo)信息至關(guān)重要，傳統(tǒng)的復(fù)制-粘貼模式難以同時(shí)滿足圖像結(jié)構(gòu)和細(xì)節(jié)的恢復(fù)需求。
沈陽自動(dòng)化所視覺課題組提出一種基于循環(huán)對抗生成網(wǎng)絡(luò)的修復(fù)模型，將圖像修復(fù)過程轉(zhuǎn)化為由結(jié)構(gòu)到細(xì)節(jié)逐步、循環(huán)預(yù)測和修復(fù)損失區(qū)域的過程：高層語義特征在圖像修復(fù)過程中負(fù)責(zé)指導(dǎo)結(jié)構(gòu)重建；低層特征對高層語義有明顯的補(bǔ)充作用，負(fù)責(zé)細(xì)節(jié)重建。通過實(shí)驗(yàn)，研究人員在多個(gè)數(shù)據(jù)庫上與主流算法進(jìn)行對比，在峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）、圖像相似性（FID）等多個(gè)指標(biāo)上均為最優(yōu)。
該研究得到了國家自然科學(xué)基金、科技部重點(diǎn)研發(fā)計(jì)劃以及中國科學(xué)院國際合作重點(diǎn)項(xiàng)目和交叉創(chuàng)新團(tuán)隊(duì)等項(xiàng)目的支持。
