Introduction：Meta Learning ⇒ Learn to Learn

痛点：如何训练得到较好的模型？

• 工业界：大量GPU同时训练多组可能的超参数，找到结果较好的参数配置

• 学业界：“通灵”，定义一组好的参数

  **Meta-learning：**希望自己学会超参数、网络架构……，帮助学界解决问题

什么是“元学习”？

• “学习算法”也可以看做一个函数F，它的输入是训练数据，输出是model
  • 一般的ML中，F是人想出来的（hand-crafted）
  • Meta Learning 自动学习“学习算法”F

三个步骤寻找Learning Algorithm

概念明确：

训练数据→训练任务（训练任务里的训练数据+测试数据）

测试数据→测试任务（包含训练数据+测试数据）

Step 1: What is learnable in a learning algorithm?（明确要被学的东西）

在model中：weight bias

让机器自己学习⇒learnable components$\phi$

• 网络架构
• 初始参数
• 学习率