시그모이드 함수와 같은 문제가 발생함.
그러나 중심값이 0 >> 시그모이드 함수와 비교하면 반환값의 변화폭이 더 크다
>> 시그모이드 함수보다 기울기 소실이 적다 >> 은닉층에서 시그모이드 함수보다는 많이 사용된다.
Zero-centerd > 편향 이동 없음
입력의 절대값이 크면 -1 or 1로 수렴 > 기울기 소실 문제 발생 가능
시그모이드 함수와 같은 문제가 발생함.
그러나 중심값이 0 >> 시그모이드 함수와 비교하면 반환값의 변화폭이 더 크다
>> 시그모이드 함수보다 기울기 소실이 적다 >> 은닉층에서 시그모이드 함수보다는 많이 사용된다.
Zero-centerd > 편향 이동 없음
입력의 절대값이 크면 -1 or 1로 수렴 > 기울기 소실 문제 발생 가능