Softmax Regression

개요

Softmax Function

개요

k차원의 벡터, i번째 원소를 $z_1$, i번째 클래스가 정답일 확률 $p_i$

$p_i=\frac{e^{z_i}}{{\sum }_{j=1}^k{e}^{z_j}}$

$softmax(z)=[\frac{e^{z_1}}{{\sum }_{j=1}^3{e}^{z_j}},\frac{e^{z_2}}{{\sum }_{j=1}^3{e}^{z_j}},\frac{e^{z_3}}{{\sum }_{j=1}^3{e}^{z_j}}]=[p_1,p_2,p_3]=\hat{y}=예측값$

출력

0과 1사이의 실수.
각 원소의 총합은 1이다.

원본 링크

예시

소프트맥스 함수의 입력

하나의 샘플 데이터의 독립 변수 4차원 벡터, 소프트맥스 함수는 3차원 벡터를 입력으로 받음.

각각의 화살표는 각각의 가중치. 총 12개. 학습 과정에서 변함.

오차를 구하는 방법

소프트맥스 회귀에서 예측값을 구하는 과정을 행렬으로 표현

Cost Function of Softmax Regression

Cross Entropy Function

개요

$cost(\mathbf{W})=-{\sum }_{j=1}^k{y}_{j}log(p_j)$

$\mathbf{W}=\left[\begin{array}{cccc}{w}_{11}& w_{12}& \dots & w_{1d}\\ w_{21}& w_{22}& \dots & w_{2d}\\ ⋮& ⋮& \ddots & ⋮\\ w_{k1}& w_{k2}& \dots & w_{kd}\end{array}\right]$

$k$ : 분류해야 하는 전체 클래스의 개수
$d$ : 입력 특징의 개수
$j$: 클래스 인덱스
$y_j$ : 정답을 벡터로 표현한 것의 j번째 값(보통 One-Hot Vector
예를 들어, 클래스가 3개이고 정답이 두 번째 클래스라면
$y=[0,1,0]$
따라서
- $y_1=0$
- $y_2=1$
- $y_3=0$
$p_j$ : 모델이 예측한 클래스 j일 확률. 보통 Softmax로 계산된다.
출력값 : 스칼라

정답 클래스 확률이 높을수록 loss가 작아지고 정답 클래스 확률이 낮으면 loss가 커지도록 설계되었다.

$y$가 One-Hot Vector라면

결국 식은 $cost=-log(p_{j^{\ast }})$으로 정답일 확률에 로그를 씌운것에 불과하다.
정답일 확률이 1이면 손실함수는 0, 정답 확률이 0.1이면 2.3

n개 데이터 전체에 대한 평균

$cost(\mathbf{W})=-\frac{1}{n}{\sum }_{i=1}^n{\sum }_{j=1}^k{y}_j^{(i)}log(p_j^{(i)})$
복잡하네. 간단히 예시 넣어보기

이진 분류에서의 크로스 엔트로피 함수

$$cost(W)=-\frac{1}{n}[y^{(i)}\log (H(x^{(i)}))+(1-y^{(i)})\log (1-H(x^{(i)}))]$$

Cross Entropy Function Subtitution Example에서 확인할 수 있듯이, 동일한 식이다.

원본 링크