星辰視界：智慧眼AI Lab之小樣本學(xué)習(xí)
當(dāng)深度學(xué)習(xí)知名于業(yè)界時，存在于深度學(xué)習(xí)和人類智能的一個顯著差異亦為大眾所知：人類可以從很少的資源中學(xué)習(xí)或識別一個概念，而深度學(xué)習(xí)則需要大量的標(biāo)注樣本進(jìn)行訓(xùn)練才能得到一個滿意的效果。
但是在實際應(yīng)用場景中，能夠同時覆蓋時間、空間、顏色、形狀和行為等特征的數(shù)據(jù)少之又少，再加上數(shù)據(jù)標(biāo)注通常非常困難，小樣本深度學(xué)習(xí)（few-shot learning）也就應(yīng)運而生了。
什么是小樣本深度學(xué)習(xí)？
一歲多的嬰兒，根據(jù)繪本的物體圖片，比如一把綠色的鏟子，在學(xué)習(xí)一兩次后，就可以爬到玩具堆里找到幾把不同形狀和顏色的鏟子，同時把繪本翻到對應(yīng)的頁面。
我們看到，人類具有只通過少量樣本或特征描述就可以識別物體的能力，受人類這種快速學(xué)習(xí)能力的啟發(fā)，研究人員希望機器學(xué)習(xí)也能夠只通過學(xué)習(xí)少量樣本就可以進(jìn)行快速建模，對不同的類別進(jìn)行區(qū)分，而且能在不改變模型參數(shù)的情況下，對新類別進(jìn)行識別，這就是小樣本學(xué)習(xí)（few-shot learning）。
小樣本學(xué)習(xí)(FSL)利用先驗知識，可以快速泛化到只包含少量監(jiān)督信息的樣本新任務(wù)中。
小樣本學(xué)習(xí)，可認(rèn)為是Meta Learning在監(jiān)督學(xué)習(xí)上的應(yīng)用，即在訓(xùn)練階段，每次迭代（episode）會對樣本采樣，得到一個meta task；在不同的迭代中，訓(xùn)練數(shù)據(jù)包含了不同的組合，使得模型會去學(xué)習(xí)不同meta task中的共性部分，忘掉和task相關(guān)的部分。因此在面對meta test時也能進(jìn)行較好的分類。
圖1 Few-shot Learning 示例
圖 1 展示的是一個 2-way 5-shot 的示例，可以看到 meta training 階段構(gòu)建了一系列 meta-task 來讓模型學(xué)習(xí)根據(jù) support set 預(yù)測 batch set 中的樣本標(biāo)簽；meta testing 階段輸入數(shù)據(jù)的形式與訓(xùn)練階段一致（2-way 5-shot），但是會在全新的類別上構(gòu)建 support set 和 batch。
小樣本深度學(xué)習(xí)的分類
Few-shot Learning 模型大致可分為三類：Mode Based，Metric Based 和 Optimization Based。
圖2 FSL模型分類
Model Based方法旨在通過模型結(jié)構(gòu)的設(shè)計快速在少量樣本上更新參數(shù)，直接建立輸入 x 和預(yù)測值P的映射函數(shù)；Metric Based方法通過度量batch集中樣本和 support 集中樣本的距離，借助最近鄰的思想完成分類；Optimization Based方法認(rèn)為普通的梯度下降方法難以在 few-shot 場景下擬合，因此通過調(diào)整優(yōu)化方法來完成小樣本分類的任務(wù)。
智慧眼的應(yīng)用探索
針對 Metric Based 系列方法，智慧眼AI Lab提出了 CNN-LSTM-Fusion的三級框架，如圖3所示，目前已應(yīng)用到異常檢測場景，比如火災(zāi)檢測、少數(shù)民族識別和表情識別當(dāng)中。Spatial learning模塊用CNN結(jié)構(gòu)學(xué)習(xí)每一幀的語義特征；Temporal Learning模塊用LSTM，可以歸納和融合出事件的典型類別特征；Fusion模塊用于融合特征和類別直接的關(guān)系，進(jìn)而給出分類決策。
圖3 基于FSL的異常檢測模型
未來發(fā)展
可以預(yù)見，小樣本深度學(xué)習(xí)因其只需少量數(shù)據(jù)進(jìn)行訓(xùn)練就能得到較好效果的優(yōu)勢，可以應(yīng)用于很多場景，如醫(yī)療數(shù)據(jù)、手機上用戶手動標(biāo)注的數(shù)據(jù)、少量的異常數(shù)據(jù)等。
智慧眼AI Lab將對小樣本深度學(xué)習(xí)進(jìn)行持續(xù)探索，同時嘗試將小樣本與強化學(xué)習(xí)、遷移學(xué)習(xí)等技術(shù)進(jìn)行融合，以期為人工智能研究帶來新的技術(shù)突破！
湘ICP備20003263號-1