Framework of ML

训练数据与测试数据

训练的过程

1. 写出一个有未知参数的function，参数用$\theta$来表示

2. 确定损失函数，判断function的参数$\theta$ 好不好

3.optimization,得到使损失函数最小的参数$\theta^*$

General Guide——如何达到更好的效果？

1. 分析在训练数据上的Loss

(1)Model Bias

所有的function集合起来,得到一个function的set.但是这个function的set太小了,没有包含任何一个function,可以让我们的loss变低⇒可以让loss变低的function,不在model可以描述的范围内。

**⇒解决方法：重新设计一个Model，**一个更复杂的、更有弹性的、有未知参数的、需要更多features的function

（2）Optimization

可能会卡在local minima（局部极小值/鞍点）的地方,没有办法找到一个真的可以让loss很低的参数

（3）如何区分两种情况？