同時具壓縮、挑選與擴充之不遺忘持續學習系統
2019-04-11
同時具壓縮、挑選與擴充之不遺忘持續學習系統
本院覽號
05T-1081017
公告日期
2019-04-11
智財權狀態
know-how
摘要
持續終生學習是許多應用的基礎。我們的系統經由模型權重修剪，關鍵權重選擇以及逐漸式網路擴增，達成不遺忘終生學習。透過迭代式套用整合這三個步驟，我們提出一套可以擴充持續學習連續增加新任務之漸進式學習。本系統具有三個優點:一、避免遺忘先前的任務。二、可同時保持緊緻性質下，容許模型擴充來處理新增任務。三、透過壓縮、選擇與擴充機制，先前的知識可以幫助新任務的學習適應到更好的模型。
技術優勢
- 避免遺忘先前的任務。
- 可同時保持緊緻性質下，容許模型擴充來處理新增任務。
- 透過壓縮、選擇與擴充機制，先前的知識可以幫助新任務的學習適應到更好的模型。
應用範圍
- 智慧物流、智慧製造
- 智慧機器人
- 智慧城市、保全監控
圖1.CPG流程說明圖。給定妥善訓練之Task 1模型後，我們會先將其權重逐步修剪。接下來新任務進入之後，透過同時挑選舊模型與填入新權重一起訓練，得到新任務的模型。若新模型的準確未達標準，我們可以將模型擴充，以增強效能。
創作人
陳祝嵩
同時具壓縮、挑選與擴充之不遺忘持續學習系統
