MingyuPark

이번에는 강의 내용 정리보다는 Chapter 5. 이진 분류와 다중 분류. 의 학습 내용을 정리해보려고 한다. 주어진 사진에 대해서 그 사진이 강아지의 사진일 확률을 q라고 정의하면, 강아지면 q를 maximize, 고양이면 1-q를 maximize 하는 식으로 학습할 수 있다. → 한 번에 표현하면, $q^y (1-q)^{1-y}$를 maximize 각 데이터는 독립이기 때문에, $q_1^{y_1} (1-q_1)^{1-y_1} \times q_2^{y_2} (1-q_2)^{1-y_2} \times ... q_n^{y_n} (1-q_n)^{1-y_n}$ 를 maximize 해야 한다. n = 100인 상황을 고려해보자. $q_i^y_i (1-q_i)^{1-y_i}$가 0.9라도 이 값을 100번 곱하면 ..

서론 딥러닝 모델을 잘 학습시키기 위해서는 해당 모델의 가중치(w)를 잘 학습하는 게 가장 중요하다. 가중치는 입력신호가 출력에 얼마나 영향을 주는지를 나타내는 값이며, 딥러닝 모델을 잘 학습시킨다는 것은 가중치를 잘 학습시키는 것과 동일한 의미를 갖는다. 이러한 가중치를 어떻게 초기화하며 어떻게 최적화를 해야 하는지에 대해 정리해보았다. 본론 1. 가중치 초기화 가중치를 최적화하려면 최적화할 가중치가 존재해야 한다. 그러면 그 가중치는 어떻게 구해야 할까. 정답 : 0 근처의 값으로 초기화한다. 그러면 그냥 내 마음대로 값을 주면 된다. 절대 아니고 초기화하기 위한 다양한 방법이 제시되어있다. 신경망이 사용하는 activation function에 따라 다양한 초기화 방법이 제시되어 있다. Unifor..