신경망 학습

• 학습이란
  학습이란 모델이 정답을 찾을 수 있는 가장 알맞는 매개변수들을 찾아나가는 과정
  
  
  
• 학습의 지표와 목표
  모델이 최적 매개변수를 찾아나가기 위해서 사용하는 기준 = 손실 함수
  손실 함수는 오답일 때 그 값이 커지므로 손실 함수값을 작게 만들 수 있는 매개변수를 만들어야 함
  
  
  
• 기계학습 vs 딥러닝
  예를 들어 이미지 데이터를 학습할 때, 기계학습은 사람이 이미지 데이터의 특징을 먼저 파악해 이미지를
  어떻게 효율적으로 벡터로 표현할 수 있을지 설계하고 이 벡터를 다시 기계가 특정 알고리즘을 통해
  학습한다. 반면에 딥러닝은 사람이 데이터의 특징을 파악하는 과정이 생략된 것이다.
  ( = 종단간 기계학습 : 처음부터 끝까지 사람이 개입하지 않고, 기계가 학습하는 것 ) 
  
  
  
• 오버피팅
  모델을 학습할 때, 학습 데이터에만 매몰되지 않고 범용적인 데이터로도 알맞은 정답을 맞출 수 있는 모델이
  좋은 모델이라고 할 수 있다. 그렇지 않고 학습 데이터에만 최적화된 상태는 오버피팅이라고 한다. 
  
  
  
• 손실함수
  손실함수는 신경망의 결과값이 현재 정답에서 얼마나 멀어져있는지 즉 얼마나 오답을 말하고 있는지
  나타내는 지표이다. 보통은 손실함수의 값이 커질수록 오답을 말한다고 할 수 있고, 이 특성을 활용해
  좋고 나쁨을 여러가지 방법으로 표현할 수 있다. 
  대표적으로 오차제곱합 ( SSE ) , 교차엔트로피오차 ( CEE ) 등이 있다. 
  
  
  
• 미니배치 학습
  모델을 학습할 때 전체 데이터를 계산하려고 하면 힘든 경우가 많을 것이다. ( 자원의 문제 등 ) 
  예를 들어 60000개의 데이터를 한번에 학습하는 것이 아니라, 60000개의 데이터 중 100개의 데이터
  즉 일부의 데이터만 떼와서 학습해나가는 것이 미니배치 학습이다. 
  
  

 

# 참조

밑바닥부터 시작하는 딥러닝