Basic

终身学习（Life Long Learning，LLL），又称Continuous Learning、Never Ending Learning、 Incremental Learning

• 我們先教機器做某一件事情，比如說學會做語音辨識，那它就會做語音辨識了；
• 接下來你再教它第二個任務，教它做影像辨識，它就會做影像辨識；
• 接下來你再教它做第三個任務，也許是翻譯，它就會做影像辨識加語音辨識加翻譯了。

现实世界的应用

模型上線以後蒐集到新的資料，新的資料就可以讓我們來更新我們模型的參數。

可以把舊有的資料想成是過去的任務，把新的、來自於使用者 Feedback 的資料想成是新的任務。

难点——灾难性遗忘

那你讓機器依序學的時候，它就是學了新的東西就忘了舊的東西。

它就好像是一個腦袋有洞的人，新的任務進來，舊的東西就掉出去了，它永遠學不會多個技能。

Example 1：数字辨识

对于在这样两个Task上的任务（虽然看起来更像是两个Domain），训练一个模型对不同的数字进行识别

先后利用两个任务的数据进行训练：

先在任務一上學一下，學完以後任務一正確率 90%、任務二也已經得到 96% 的正確率了；

再讓同一個已经在任务一上训练完的模型繼續去學任務二，任務二上變成 97%，但機器忘了怎麼做任務一，只有80%的正确率。