ML|Hung-yi Lee

date

Oct 19, 2024

slug

ml-hung-yi-lee

status

Published

Introduction

Machine Learning

\approx

Look For Function

Regression: The function outputs a scalar

Classification: Given options, the function outputs the correct one

Structured Learning: Create something with structure

Steps to find the function(or ML)

function with unknown

define loss from training data

optimization

Neuron and Neuron Network

我们可以用很多Sigmoid函数叠加，去拟合任何函数；而通过调整w、b和c，可以创建出我们想要的Sigmoid函数。每个Sigmoid函数是一个神经元

Hw1

ML2021Spring-hw1

COVID-19 Cases Prediction

https://www.kaggle.com/competitions/ml2021spring-hw1/

Code

General Guide

Optimization Issue

Gaining the insights from comparison

Start from shallower networks (or other models),which are easier to optimize.

If deeper networks do not obtain smaller loss on training data, then there is optimization issue.

Solution: More powerful optimization technology

Local minima and Saddle point

把gradient=0的点称为critical point

可以用泰勒级数估计

L(\theta) \approx L(\theta') + (\theta - \theta')^T g + \frac{1}{2} (\theta - \theta')^T H (\theta - \theta')

g = \nabla L(\theta')

，是梯度也是一阶偏导；H是Hessian矩阵，是二阶偏导，

H_{ij} = \frac{\partial^2 L}{\partial \theta_i \partial \theta_j}(\theta')

For all $\mathbf{v}$ ， $\mathbf{v}^T H \mathbf{v} > 0$

Around $\theta'$ : $L(\theta) > L(\theta')$

Local minima

\text{H is positive definite} = \text{All eigen values are positive.}

For all $\mathbf{v}$ ， $\mathbf{v}^T H \mathbf{v} < 0$

Around $\theta'$ : $L(\theta) < L(\theta')$

Local maxima

H \text{ is negative definite} = \text{All eigen values are negative.}

Sometimes $\mathbf{v}^T H \mathbf{v} > 0$ , sometimes $\mathbf{v}^T H \mathbf{v} < 0$

Saddle point

\text{Some eigen values are positive, and some are negative.}

此时如果把

\mathbf{v}

取特征向量

\mathbf{u}

，则

\mathbf{u}^T H \mathbf{u} = \mathbf{u}^T(\lambda\mathbf{u})=\lambda||\mathbf{u}||^2

取特征值

\lambda<0

，则

\mathbf{u}^TH\mathbf{u}<0

，

L(\theta)<L(\theta')

。取

\theta=\theta'+\mathbf{u}

，就可以脱离Saddle Point让L下降，但实际上不会用这种方法，计算量太大。

当参数很多的时候，Local minima是很少的，大多是Saddle Point；在高维下，总有路可以走。

Overfitting

Cross Validation

N-fold Cross Validation

Batch and Momentum

Small Batch and Large Batch

Momentum

Starting at 𝜽𝟎,Movement 𝒎𝟎 = 𝟎

Compute gradient 𝒈𝟎,Movement 𝒎𝟏 = λ𝒎𝟎− 𝜂𝒈𝟎,Move to 𝜽𝟏 = 𝜽𝟎 + 𝒎𝟏

Compute gradient 𝒈𝟏,Movement 𝒎𝟐 = λ𝒎𝟏− 𝜂𝒈𝟏,Move to 𝜽𝟐 = 𝜽𝟏 + 𝒎𝟐

Adaptive Learning Rate

Adagrad

\theta_i^{t+1} \leftarrow \theta_i^t - \frac{\eta}{\sigma_i^t} g_i^t

\sigma_i^t = \sqrt{\frac{1}{t+1} \sum_{i=0}^t \left(g_i^t\right)^2}

RMSProp

\theta_i^{t+1} \leftarrow \theta_i^t - \frac{\eta}{\sigma_i^t} g_i^t

\sigma_i^t = \sqrt{\alpha (\sigma_i^{t-1})^2 + (1 - \alpha)(g_i^t)^2}

增加了最近的梯度的权重，这样过去的梯度影响更小。

Adam=Adagrad+RMSProp

Warm Up

左侧是一般的Learning Rate，右侧是Warm Up。Warm Up可以使得模型在一开始用小步长探索信息，降低统计信息

\sigma_i^t

的方差

Batch Normalization

如果

x_2

很大，

x_1

很小，那么

x_2

对L的贡献就会比

x_1

大得多，就会出现左图的情况。通过Normalization，可以变成右图

有因为我们不可能考虑整个Network的平均值和标准差，因此只考虑一个Batch

Hw2

ML2021Spring-hw2

TIMIT framewise phoneme classification

https://www.kaggle.com/competitions/ml2021spring-hw2/

Code

CNN

Pooling可以没有，比如AlphaGo使用了CNN，但没有Pooling

这部分内容可以看另一篇文章的CNN部分

Hw3

Code

ResNet18

from CSDN

Self-attention

Muti-head

Muti-Head Self-Attention是CNN Pro Max

Muti-Head=CNN里多个卷积核（决定输出通道数）

同时每个Head的Self-Attention又可以通过调整权重自定义考虑的范围，而不是CNN里的Kernal Size大小的方框

每个Head对于每个Pixel都会做Self-Attention，相当于Filter扫一次图片

Positional Encoding

No position information in self-attention.

Each position has a unique positional vector 𝑒𝑖

hand-crafted

learned from data

Hw4

ML2021Spring-hw4

Speaker classifier

https://www.kaggle.com/competitions/ml2021spring-hw4

Code（没调参，稀烂）

Transformer

Encoder

Decoder

Comparison

除了当中和Encoder输出Cross Attention的部分，和Encoder结构一样

Masked Self-attention

为了使得decoder不能看见未来的信息，也就是对于一个序列中的第i个token，解码的时候只能够依靠i时刻之前(包括i)的的输出，而不能依赖于i时刻之后的输出，我们要采取一个遮盖的方法(Mask)使得其在计算self-attention的时候只用i个时刻之前的token进行计算。因为Decoder是用来做预测的，而在训练预测能力的时候，我们不能够"提前看答案"，因此要将未来的信息给遮盖住。