Softmax Regression

Softmax Function

k차원의 벡터, i번째 원소를 $z_1$, i번째 클래스가 정답일 확률 $p_i$

$p_i=\frac{e^{z_i}}{{\sum }_{j=1}^k{e}^{z_j}}$

$softmax(z)=[\frac{e^{z_1}}{{\sum }_{j=1}^3{e}^{z_j}},\frac{e^{z_2}}{{\sum }_{j=1}^3{e}^{z_j}},\frac{e^{z_3}}{{\sum }_{j=1}^3{e}^{z_j}}]=[p_1,p_2,p_3]=\hat{y}=예측값$

원본 링크

예시.

1. 소프트맥스 함수의 입력

하나의 샘플 데이터의 독립 변수 4차원 벡터, 소프트맥스 함수는 3차원 벡터를 입력으로 받음.

각각의 화살표는 각각의 가중치. 총 12개. 학습 과정에서 변함.

2. 오차를 구하는 방법

소프트맥스 회귀에서 예측값을 구하는 과정을 행렬으로 표현

Cost Function

Cross Entropy Function

$cost(W)=-{\sum }_{j=1}^k{y}_{j}log(p_j)$

n개 데이터 전체에 대한 평균은,

$cost(W)=-\frac{1}{n}{\sum }_{i=1}^n{\sum }_{j=1}^k{y}_j^{(i)}log(p_j^{(i)})$
복잡하네. 간단히 예시 넣어보기

이진 분류에서의 크로스 엔트로피 함수

$$cost(W)=-\frac{1}{n}[y^{(i)}\log (H(x^{(i)}))+(1-y^{(i)})\log (1-H(x^{(i)}))]$$

Cross Entropy Function Subtitution Example에서 확인할 수 있듯이, 동일한 식이다.

원본 링크