視聽覺跨模態表面材質檢索
劉卓錕; 劉華平; 黃文美; 王博文; 孫富春 河北工業大學省部共建電工裝備可靠性與智能化國家重點實驗室; 天津300130; 清華大學智能技術與系統國家重點實驗室; 北京100084; IEEE; 中國人工智能學會; 中國人工智能學會認知系統與信息處理專業委員會
- 跨模態檢索
- 特征提取
- 典型相關分析
- 子空間映射
- 材質分析
摘要：針對文本圖像特征有時無法滿足對物體材質進行真實準確分析的情況,本文在視聽領域使用跨模態檢索方法進行表面材質檢索。首先提取聲音的梅爾頻率倒譜系數(MFCC)特征,使用卷積神經網絡(CNN)提取圖像特征,然后利用典型相關分析將兩種特征映射到子空間并用歐氏距離進行檢索,并在慕尼黑工業大學觸覺紋理數據集上進行實驗驗證,實現了使用聲音檢索圖像的跨模態檢索過程。實驗結果表明,所提出的方法在材質檢索方面有較好應用效果。
注：因版權方要求，不能公開全文，如需全文，請咨詢雜志社
