當(dāng)前位置：首頁(yè) > 新聞資訊 > 機(jī)器人知識(shí) > 不完美場(chǎng)景下的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

不完美場(chǎng)景下的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

來源：智東西編輯：創(chuàng)澤時(shí)間：2020/6/3 主題：其他 [加盟]

近幾年，騰訊優(yōu)圖不斷迭代數(shù)據(jù)和模型缺陷情況下神經(jīng)網(wǎng)絡(luò)的有效訓(xùn)練方法，相關(guān)技術(shù)已經(jīng)在眾多業(yè)務(wù)場(chǎng)景上（行人重識(shí)別，內(nèi)容審核等）落地。本文整理自騰訊優(yōu)圖、騰訊云大學(xué)、AICUG和AI科技評(píng)論聯(lián)合主辦的「優(yōu)Tech沙龍」，分享嘉賓為騰訊優(yōu)圖實(shí)驗(yàn)室高級(jí)研究員Louis。

01 定義帶噪學(xué)習(xí)目標(biāo)

現(xiàn)實(shí)數(shù)據(jù)中存在的標(biāo)簽噪音（label noise）根據(jù)Feature可以分成兩種：Feature independent noise和 Feature dependent noise。Feature independent noise是與特征無關(guān)的，比如將一只狗的圖片誤標(biāo)記成汽車，狗和汽車沒有什么相似特征，所以屬于這類。Feature independent noise是與特征有關(guān)的，比如說狗和狼具有很多相似特征屬性，標(biāo)注人員可能把狗誤標(biāo)記成狼，那就屬于這類。其實(shí)現(xiàn)實(shí)場(chǎng)景更多存在都是feature dependent noise。

噪音普遍存在，所以我們需要訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行帶噪學(xué)習(xí)，并且要能實(shí)現(xiàn)比較好的性能。那么noise label learning的目標(biāo)是設(shè)計(jì)一個(gè)loss function，使得在noisy labels下訓(xùn)練得到的解，在性能上接近在clean labels下訓(xùn)練得到的解。