MingyuPark

이번에는 강의 내용 정리보다는 Chapter 5. 이진 분류와 다중 분류. 의 학습 내용을 정리해보려고 한다. 주어진 사진에 대해서 그 사진이 강아지의 사진일 확률을 q라고 정의하면, 강아지면 q를 maximize, 고양이면 1-q를 maximize 하는 식으로 학습할 수 있다. → 한 번에 표현하면, $q^y (1-q)^{1-y}$를 maximize 각 데이터는 독립이기 때문에, $q_1^{y_1} (1-q_1)^{1-y_1} \times q_2^{y_2} (1-q_2)^{1-y_2} \times ... q_n^{y_n} (1-q_n)^{1-y_n}$ 를 maximize 해야 한다. n = 100인 상황을 고려해보자. $q_i^y_i (1-q_i)^{1-y_i}$가 0.9라도 이 값을 100번 곱하면 ..

이번에는 강의 내용 정리보다는 Chapter 4. 딥러닝, 그것이 알고 싶다. 파트를 읽고 느낀 점에 대한 설명을 해보려고 한다. (강의 내용 정리도 좋지만, AI DEEP DIVE 강의 구매를 고민하고 있는 사람이 있다면 이런 글도 도움이 될 것 같다.) MLP를 구성할 때 linear activation만 이용하면 안 되는 이유를 설명해주는 장면이다. 가장 큰 장점은 행렬, 벡터에 대한 기초가 없는 사람이라면 이 과정을 행렬, 백터로 표현하는 과정에서부터 좌절을 할 수도 있을 것 같다. (물론 나는 선형대수학에 대한 기초가 있었기 때문에 크게 어려움이 있지는 않았지만) 아무튼, 이런 과정을 직관적으로 설명해준다. W 행렬이 왜 이렇게 구성되는지, bias 벡터는 어떻게 표현되는지 등등. (입문자들에게..

서론 딥러닝 모델을 잘 학습시키기 위해서는 해당 모델의 가중치(w)를 잘 학습하는 게 가장 중요하다. 가중치는 입력신호가 출력에 얼마나 영향을 주는지를 나타내는 값이며, 딥러닝 모델을 잘 학습시킨다는 것은 가중치를 잘 학습시키는 것과 동일한 의미를 갖는다. 이러한 가중치를 어떻게 초기화하며 어떻게 최적화를 해야 하는지에 대해 정리해보았다. 본론 1. 가중치 초기화 가중치를 최적화하려면 최적화할 가중치가 존재해야 한다. 그러면 그 가중치는 어떻게 구해야 할까. 정답 : 0 근처의 값으로 초기화한다. 그러면 그냥 내 마음대로 값을 주면 된다. 절대 아니고 초기화하기 위한 다양한 방법이 제시되어있다. 신경망이 사용하는 activation function에 따라 다양한 초기화 방법이 제시되어 있다. Unifor..