[26-06-02]

01

CPU는 이론적으로 정립된게 같지만, 기기마다 요구사항이 다르기에 -> 이와 동일하게 CNN,RNN,Transformer도 이론적으로 정립된게 비슷해도(Fully Connected) 모든 요구사항과 목적은 다르기에 계속해서 새로운 아키텍쳐가 만들어지고 연구되는 것이다. input data type and task requirements에 따라 모델이 달라지는 것이다.

02

NN 에서 2 step으로 계산하는데 왜 1 step은 안되나요?? -> misunderstanding

03

ReLU의 단점을 설명해서 왜 Leaky ReLU가 나왔는지 설명하시요 -> ReLU는 음수 영역에서 gradient가 0이 되어서 학습이 멈추는 문제가 있다. Leaky ReLU는 음수 영역에서도 작은 기울기를 가지도록 해서 이 문제를 해결한다. 또 다른 이유는 ReLU는 음수 입력에 대해 완전히 0이 되기 때문에, 뉴런이 죽는 현상이 발생할 수 있다. Leaky ReLU는 음수 입력에 대해 작은 기울기를 가지도록 하여 뉴런이 죽는 현상을 방지한다.

04

왜 max를 쓸까 -> computation efficiency, non-linearity -> U자 그래프가 있고, 이걸 “fit”하게 하기 위해선 많은 선을 그려보면서 y=max(y1,y2,y3…)을 하게 된다면 어떤 선이든지 fit할 수 있게 된다. max는 non-linearity를 제공하기 때문에 모델이 더 복잡한 패턴을 학습할 수 있게 된다. 또한, max pooling은 계산 효율성을 높이고, 모델의 파라미터 수를 줄이는 데 도움이 된다.