softmax 함수와 데이터 처리 및 학습

• 항등함수
  주로 회귀에서 쓰이는 활성화함수로 입력받은 값을 그대로 출력하는 함수 
  
  
• softmax 함수
  주로 분류에서 쓰이는 활성화함수로 각 출력이 모든 입력 신호로부터 영향을 받는다는 특징이 있다. 
  또한, a <= b 이면 계산 값도 앞의 입력 원소의 대수 관계를 따라간다는 특징이 있기 때문에 보통 
  신경망을 사용한다면 softmax 함수의 사용을 생략하기도 한다. 
  
  
• softamx 함수를 구현할 때 유의할 점 
  softmax 함수의 문제점은 입력값이 커지면 오버플로 현상이 발생할 수 있다는 점이다. 
  이는 입력 x1, x2, x3 ... 에서 max 가 되는 값 max_xn 을 각 입력값에서 빼주면 해결할 수 있다. 
  왜냐하면, softmax 함수의 식에서 분자 분모에 같은 상수 A 를 곱하고, 이 상수를 exp 연산 안으로 
  들어가도록 처리했을 때 특정 상수 log A 를 입력값에 더하거나 빼는 것 ( 음수 값을 더하는 것 ) 과 같은
  효과를 보이기 때문이다. 
  
  
• 순전파
  순전파란 입력층에서, 은닉층, 출력층에 이르기까지 연산을 차례대로 해나가는 과정을 말한다. 
  또한 신경망이 학습한 매개변수를 통해서 출력을 도출하는 추론의 과정을 말하기도 한다. 
  
  
• 정규화
  데이터를 이루는 숫자값들을 특정 범위 내의 값을 가지도록 조정하는 것 
  ex ) 이미지 데이터 값을 0 ~ 1 사이로 정규화 
  
  
• 전처리
  입력 데이터를 신경망으로 학습하기 전에, 특정 변환을 가하는 것
  
  
• 배치
  학습할 묶음 단위를 의미
  배치사이즈를 100으로 출력이 10인 신경망에 학습한다고 하면, 한번 학습을 마쳤을 때 전체 데이터 중 
  100개의 데이터에 대한 결과가 100 x 10 의 형태로 한꺼번에 리턴된다. 

 

 

# 참조

밑바닥부터 시작하는 딥러닝