티스토리

잡탕로그
검색하기

블로그 홈

잡탕로그

my-brain.tistory.com/m

중요한건 꺾이지 않는 마음

구독자
0
방명록 방문하기

주요 글 목록

  • [Deep learning book] 5.3 Hyperparameters and Validation Sets 5.3 Hyperparameters and Validation Sets Hyperparmeter examples - degree of the polynomial : capacity hyperparameter - λ value used to control the strength of weight decay - (Left) very large λ : force the model to learn a function with no slope, underfits because it can only represent a constant function - (Center) medium value of λ : recovers a curve with the right general shape - (Right) With w.. 공감수 0 댓글수 0 2022. 9. 6.
  • [Deep learning book] 5.2.2 Regularization 5.2.2 Regularization Regularization - reduce its generalization error but not its training error weight decay - minimize a sumJ(w) comprising both the mean squared error on the training and a criterion thatexpresses a preference for the weights to have smaller squaredL2norm - λ is a value chosen ahead of time that controls the strength of our preferencefor smaller weights - model’s tendency to o.. 공감수 0 댓글수 0 2022. 9. 5.
  • [Deep learning book] 5.2.1 The No Free Lunch Theorem 5.2.1 The No Free Lunch Theorem no free lunch theorem - machine learning algorithm can generalize well from a finite training set of examples number of examples & error - the quadratic model, the training error increases as the size of the training set increases - larger datasets are harder to fit. - the quadratic model does not have enough capacity to solve the task, so its test error asymptotes .. 공감수 0 댓글수 0 2022. 9. 5.
  • [Deep learning book] 5.1.2 The Performance Measure, P 5.1.2 The Performance Measure, P accuracy proportion of examples for which the model produces the correct output error rate proportion of examples for which the model produces an incorrect output 0-1 loss : example is 0 if it is correctly classified and 1 if it is not ex) average log-probability performance measure P - evaluate these performance measures using a test set of data - often difficult t.. 공감수 0 댓글수 0 2022. 9. 5.
  • [Deep learning book] 5.1.1 The Task, T 5.1 Learning Algorithms A machine learning algorithm is an algorithm that is able to learn from data. learning? A computer program is said to learn from experience E with respect to someclass of tasks T and performance measure P, if its performance at tasks inT, as measured byP, improves with experience E. 5.1 Learning Algorithms A machine learning algorithm 데이터로부터 학습할 수 있는 알고리즘 learning? Task T.. 공감수 0 댓글수 0 2022. 9. 4.
  • Bayesian Neural Network 에 대해서 Acitve learning 을 공부하면서, data 혹은 model 의 uncertainty 값을 잘 활용하면 모델 성능을 높일 수 있다는 것을 배웠다. data uncertainty 개념은 상대적으로 잘 이해됐는데, model uncertainty 에 대해서는 잘 이해되지 않아서 쓰는 글 Model uncertainty 우리가 학습시킨 인공지능이 내놓은 prediction 값이 얼마나 믿을만한 값인지 어떻게 알 수 있을까 ? 어떤 모델이 결정을 내릴 때 그 값이 얼마나 확실한지 ( certain ) 알아야 실생활에 사용될 어플리케이션 ( 예를 들면 자율 주행 ) 에 사용 가능할 것이다. 또 모델이 어떤 부분에서 certain 하고 어떤 부분에서는 uncertain 한지를 알고 있다면, 이 차이를 고려.. 공감수 0 댓글수 0 2022. 7. 13.
  • [PyTorch] Batch Normalization 와 running_mean / running_var PyTorch로 구현된 논문 코드 리뷰 중, 모델 레이어의 weight 들의 mean, std 계산을 다음과 같이 구현한 코드를 보았다. vector = torch.cat([ torch.mean(self.conv3.bn.running_mean).view(1), torch.std(self.conv3.bn.running_mean).view(1), torch.mean(self.conv3.bn.running_var).view(1), torch.std(self.conv3.bn.running_var).view(1), torch.mean(self.conv5.bn.running_mean).view(1), torch.std(self.conv5.bn.running_mean).view(1), torch.mean(self.c.. 공감수 0 댓글수 0 2022. 7. 9.
  • ActiveLearning Active learning 이란 ? 인공지능이 데이터를 학습하려면 데이터, 그리고 GT 레이블 값이 있어야 하는데, 사람이 직접 레이블을 만들어야하기 때문에 비용이 굉장히 많이 든다. 그래서 나온 개념이 active learning 이다. unlabel 데이터셋에서 특정 기준을 통해 선별한 subset 만 사람이 레이블하도록 해 최소한의 비용으로 label 데이터셋을 구성한다. 이 프로세스를 반복해서 모델 성능을 점차 올려가는 것이 active learning 이다. Active learning 의 특징 (1) Query learning 환자가 아파서 의사한테 갔는데 아무말도 안하고 가만히 있으면, 의사가 환자의 질병이 무엇인지 알 수 없다. 따라서 의사가 질병을 진단하기 위해 여러가지 질문을 환자에게.. 공감수 0 댓글수 0 2022. 7. 9.
  • [논문리뷰] SPFCN: Select and Prune the Fully Convolutional Networks forReal-time Parking Slot Detection SPFCN: Select and Prune the Fully Convolutional Networks for Real-time Parking Slot Detection Zhuoping Yu et al, 2020 IEEE Intelligent Vehicles Symposium (IV), Oct 2020, Pages 445-450 1. Introduction 차량에 탑재된 센서 기반 접근 방식을 사용해 주차 가능한 주차 슬롯을 찾는 것을 목표로 한다. 이 때, 시각적 방법을 사용해 주차 슬롯 내 라인과 모서리를 감지해 주차 슬롯을 찾는 것이 해당 논문의 목표이다. (1) Hourglass 구조를 통해 주차 구역을 탐지하는 방법, 해당 모델 구조와 intermediate supervsion 의 효과를 탐색한다.. 공감수 0 댓글수 0 2022. 7. 9.
  • [PyTorch] 모델 로드 시 이슈 및 해결방법 정리 파이토치로 모델을 로드할 때, 특히 오픈소스를 활용할 때 논문의 결과가 정말로 그렇게 나오는지 테스트해보고 싶은데... 모델이 제대로 로드되지 않은 경우가 있었다. 모델 save load 가 제대로 되지 않으니 많은 시간을 허비했다. 그 동안 삽질하며 찾았던 여러가지 모델 로드 방법을 정리한다. 일반적인 모델 로드 방법 먼저 가장 일반적이고 파이토치 공식 문서가 추천하는 방식이다. state_dict() 를 이용해 wegiht 값을 dict 형식으로 save, load 한다. torch.save(model.state_dict(), PATH) model = TheModelClass(*args, **kwargs) model.load_state_dict(torch.load(PATH)) model.eval() .. 공감수 0 댓글수 0 2022. 6. 25.
  • [PyTorch] no_grad() 와 eval() 의 차이 pytorch 에서 사용하는 no_grad() 와 eval() 의 차이점을 정리해보자 torch.no_grad( ) gradient 계산을 꺼주는 context-manager 이다. python 에서 Context Manager 는 with 문으로 호출할 수 있는 객체로, 리소르를 할당하고 제공하는 역할을 한다. 해당 모드를 사용하면 requires_grad=True 일 때보다 메모리 소비를 줄일 수 있기 때문에, Tensor.backward() 계산을 하지 않아도 되는 경우라면 해당 모드를 통해 gradient 계산을 하지 않는 것이 inference 를 할 때 효율적이다. 즉, gradient 계산이 필요하지 않은 경우 해당 모드를 적용해 메모리를 더 적게 사용하고, 더 빠르게 계산할 수 있도록 한다.. 공감수 0 댓글수 0 2022. 6. 24.
  • [논문리뷰] Stacked hourglass networks for human pose estimation 논문 제목 및 저자 Stacked hourglass networks for human pose estimation ( Computer Vision and Pattern Recognition - cs.CV, 2016 ) Alejandro Newell, Kaiyu Yang, and Jia Deng ( University of Michigan, Ann Arbor ) Abstract. human pose estimation 을 위한 convolutional network architecture 를 소개 stacked hourglass architecture & intermediate supervision 사용 1. Introduction 이전의 연구들은 모두 human pose 를 연구하려면 견고하고 정확한 모.. 공감수 0 댓글수 0 2022. 6. 24.
  • 1D CNN 은 Fully connected layer 일까 ? 작년에 했던 자연어 프로젝트 중 1D CNN 을 사용했던 경험이 있다. 해당 프로젝트를 발표하는 자리에서, 이런 질문을 받은 적이 있다. "1D CNN 은 결국 fully connected layer 아닌가요?" 자연어 처리 논문들에서 1D CNN 을 활용한 방법이 많았고, 프로젝트 결과도 나쁘지 않았기에 1D CNN 이 fully connected layer인가? 라는 의문을 이전에는 전혀 가지지 못했다. 그래서 1D CNN 이 정말 fully connected layer 인지 알아보기로 했다. 먼저, Fully connected layer 와 Convolution layer 는 무엇이 다를까. FCNN ( Fully Connected Neural Nets ) 란 ? FCNN 이란 말 그대로 FC ( .. 공감수 1 댓글수 0 2022. 4. 7.
  • Convolution Layer 구현하기 필터 계산을 사용하는 합성곱 계층 ( Convolution Layer ) 를 구현합니다. 합성곱 연산에서는 입력층과 필터가 존재합니다. 이 필터를 세로로 쭉 전개한 후, 입력 데이터를 필터와 계산할 수 있는 형태로 변환해 행렬 곱 계산합니다. 마지막으로 출력 데이터를 원하는 형태로 변환해 반환하는 것이 합성곱 계층의 연산 방식 입니다. 먼저, 4차원의 입력 데이터를 2차원 배열로 reshape 하는 함수 img2col를 작성하겠습니다. 이 함수는 입력데이터가 필터링되기 편하도록 데이터를 펼치는 함수입니다. 입력 데이터에서 즉 입력 데이터 수, 채널 수, 높이, 너비 값을 받아온 후 필터 적용 후의 output 크기를 계산합니다. Output 의 높이와 너비는 필터 사용시의 계산 공식을 그대로 사용한 것입.. 공감수 0 댓글수 0 2022. 3. 6.
  • 오버피팅 방지와 하이퍼파라미터 최적화 가중치 매개변수 초깃값 가중치 매개변수의 초깃값을 어떤 값으로 사용하는 지에 따라서 각 층의 활성화값의 분포가 달라지는데, 데이터가 넓게 적당히 분포되어야 활성화 함수가 제 역할을 더 잘 하게 되면서 효율적인 학습이 이루어진다. 배치 정규화 가중치 매개변수 초기화처럼, 각 층의 활성화 분포 값을 적당히 퍼질 수 있도록 강제하는 방법이다. 말 그대로 학습할 때 미니 "배치" 마다 데이터가 평균 0, 분산 1이 되도록 데이터를 정규화하고 데이터를 확대, 이동시키면서 값을 조정한다. 기존보다 더 빠르게 학습할 수 있고, 초깃값에 크게 영향받지 않으며, 오버피팅을 억제한다는 장점이 있다. 오버피팅 훈련 데이터에만 지나치게 모델이 적응되어서 범용성이 낮은 모델로 학습되버리는 현상이다. 주로 데이터 개수가 적거나,.. 공감수 0 댓글수 0 2022. 2. 16.
  • 최적화 & 최적화 함수 최적화란 ? 최적화란 말 그대로 매개변수가 최적의 상태를 갖도록하는 과정이다. 즉, loss 의 값이 최소가 되는 매개변수의 최적값을 찾는 문제이다. 손실 함수 vs 최적화 함수 그렇다면 최적화 함수와 로수 함수는 정확히 하는 일이 어떻게 다른걸까 ? 손실 함수는 말 그대로 손실값을 계산하는 함수이다. 네트워크를 학습할 때, 네트워크가 학습해서 뱉어난 값 A' 와 정답 A 를 비교해 그 손실을 계산한다. 반면, 최적화 함수는 손실값을 줄이기 위해 네트워크 내의 가중치, 편향 값들을 최적의 값들로 조절하는 역할을 맡는다. 손실, 손실함수를 지표로 해 각 최적화 함수마다 특별한 방식으로 매개변수를 최적화해나간다. SGD 확률적 경사 하강법. 현 위치에서 가장 큰 기울기로 움직일 수 있는 방향을 선택해 나아간.. 공감수 0 댓글수 0 2022. 2. 12.
  • [PyTorch] optimizer.zero_grad() 를 하는 이유 책으로 pytorch 의 자동 미분 방식을 공부하다가, SGD 를 활용한 최적화가 다음과 같이 이루어지는 것을 알 수 있었다. import torch x = torch.FloatTensor(range(5)).unsqueeze(1) y = 2*x + torch.rand(5, 1) num_features = x.shape[1] w = torch.randn(num_features, 1, requires_grad=True) b = torch.randn(1, requires_grad=True) optimizer = torch.optim.SGD([w, b], lr=1e-3) loss_stack = [] for epoch in range(1000) : optimizer.zero_grad() a = torch.matm.. 공감수 1 댓글수 0 2022. 1. 28.
  • 신경망 학습 : 손실함수, 활성화함수, 파라미터 활성화함수 활성화함수는 신경망으로 계산한 입력신호의 모든 합을 각 함수식에 맞게 처리해 출력값으로 변환해주는 역할을 한다. 활성화함수를 사용하는 이유는, 출력값을 비선형의 형태로 바꾸기 위해서이다. 비선형으로 만들어주는 이유는 선형 구조에 문제가 있기 때문이다. 여러개의 선형식 레이어를 아무리 쌓아도 하나의 선형식으로 표현할 수 있기에 비선형 함수를 사용해주어야 한다. 라고 하는데 사실 이해가 완벽하게 되지 않았다. 히든 레이어에서 가중치와 노드값, 편향값들을 어떻게 더하고 곱할지 구성하고 계산하는 것만으로는 비선형식을 만들 수 없는 것일까? 이 부분이 더 궁금해서 찾아보았다. 그리고 그 예측이 맞았다. Geeks for Geeks 라는 해외 사이트에서 활성화함수에 대해 설명한 글을 찾아보았는데, "A .. 공감수 0 댓글수 0 2022. 1. 13.
  • 편미분 그라디언트 함수 구현 - 기울기, 경사법 모델을 학습할때 보통 손실함수의 값이 적어지는 것을 지표로 학습한다. 손실함수 loss 값은 모델의 예측값과 실제 레이블값이 얼마나 떨어져있는지를 보통 나타내기 때문이다. 그럼 손실함수의 최솟값을 구하려면 어떻게 해야할까. 여러 방법 중 하나는 손실함수를 미분해서, 기울기를 구한다음 그 기울기가 0 이라면 해당 함수의 최솟값을 구할 수 있을 것이다. 그렇기 때문에 모델 학습을 위한 과정 중, 미분 함수에 대해 이해하고 구현할 필요가 있다. 다음의 단순한 미분함수를 수식으로 구현하면 문제가 발생한다. 왜냐하면,,, 컴퓨터로 lim x→0 을 표현하기 어렵기 때문이다. 예를 들어 0 에 가까운 아주 작은 수 1e-50 을 파이썬에서 32비트 부동소수점 즉 float32 형으로 나타내려 하면 0이 되어버린다... 공감수 0 댓글수 0 2022. 1. 11.
  • 배치용 교차 엔트로피 오차 구현하기 밑바닥부터 시작하는 딥러닝 교재에서 미니배치로 학습할 시의 교차 엔트로피 오차 함수를 구현하면서, 이해되지 않았던 부분을 정리했다. 현재 데이터셋의 shape 은 train_x : (60000, 748) , train_y : (60000, 10) 이다. 미니배치 10의 사이즈로 학습하므로 한번 학습할 때의 학습, 평가 셋의 크기는 minibatch_train_x : (10, 784), minibatch_train_y : (10, 10) 에 해당한다. 첫번째, 예측값과 레이블이 원 핫 인코딩으로 주어지는 경우 위와 같이 예측값 p 와 레이블 y 가 원 핫 인코딩의 shape으로 미니배치로 주어질 때 다음과 같이 구현할 수 있다. # y, p 의 형태가 원 핫 인코딩인 경우 def cross_entropy(.. 공감수 0 댓글수 0 2022. 1. 11.
  • 신경망 학습 학습이란 학습이란 모델이 정답을 찾을 수 있는 가장 알맞는 매개변수들을 찾아나가는 과정 학습의 지표와 목표 모델이 최적 매개변수를 찾아나가기 위해서 사용하는 기준 = 손실 함수 손실 함수는 오답일 때 그 값이 커지므로 손실 함수값을 작게 만들 수 있는 매개변수를 만들어야 함 기계학습 vs 딥러닝 예를 들어 이미지 데이터를 학습할 때, 기계학습은 사람이 이미지 데이터의 특징을 먼저 파악해 이미지를 어떻게 효율적으로 벡터로 표현할 수 있을지 설계하고 이 벡터를 다시 기계가 특정 알고리즘을 통해 학습한다. 반면에 딥러닝은 사람이 데이터의 특징을 파악하는 과정이 생략된 것이다. ( = 종단간 기계학습 : 처음부터 끝까지 사람이 개입하지 않고, 기계가 학습하는 것 ) 오버피팅 모델을 학습할 때, 학습 데이터에만 .. 공감수 0 댓글수 0 2022. 1. 9.
  • 밑바닥부터 시작하는 딥러닝 : MNIST 데이터 Google Colab 에서 로드하기 MNIST 데이터를 Google Colab 으로 로드하는 방법 ? 밑바닥부터 시작하는 딥러닝 교재의 3장에서 MNIST 데이터를 사용해 손글씨를 인식하는 실습이 있다. 책은 로컬 컴퓨터에서 실습 폴더를 가져와 사용하는 방법을 설명하고 있으므로, 코랩에서 그대로 코드를 실행하려고 하면 에러가 나며 실행이 불가하다. 그래서 코랩에서 이를 실행하려면 다른 방법을 사용해야한다. 첫번째 방법. 넘파이 reshape 활용 어차피 책에서 인터넷의 mnist 데이터를 똑같이 끌어다 사용하는 것이므로 다른 곳에서 제공하는 데이터셋을 다운한다. 케라스 라이브러리를 활용하면 쉽게 다운받을 수 있다. from keras.datasets import mnist​ (train_X, train_y), (test_X, test_y).. 공감수 0 댓글수 0 2022. 1. 9.
  • softmax 함수와 데이터 처리 및 학습 항등함수 주로 회귀에서 쓰이는 활성화함수로 입력받은 값을 그대로 출력하는 함수 softmax 함수 주로 분류에서 쓰이는 활성화함수로 각 출력이 모든 입력 신호로부터 영향을 받는다는 특징이 있다. 또한, a 공감수 0 댓글수 0 2022. 1. 6.
  • 신경망과 퍼셉트론, 그리고 활성화 함수 신경망 신경망은 입력층, 은닉층, 출력층으로 이루어짐 입력 신호를 받아서 은닉층에서 연산하고, 이를 출력하는 구조 활성화 함수 활성화 함수란 입력층, 은닉층을 통해 계산된 값을 출력값으로 만들어내는 함수 특정 기준이나 함수를 가지고 출력물을 어떻게 뱉어낼지 정의한다. 계단 함수 앞에서 공부한 퍼셉트론에서 사용되었던 활성화 함수 특정 임계값을 넘느냐, 넘지 않느냐에 따라 0, 1의 출력값을 뱉어낸다. 시그모이드 함수 계단 함수와는 다르게 exp 연산을 함께 사용하여, 0, 1 의 값이 아닌 연산 후의 실수 값을 뱉어낸다. 렐루 함수 입력값이 0 보다 작으면 0을, 그렇지 않으면 입력값 그 자체를 돌려주는 함수이다. 퍼셉트론과 신경망의 차이? 퍼셉트론과 신경망의 차이는 활성화 함수이다. 퍼셉트론은 계단함수와.. 공감수 0 댓글수 1 2022. 1. 3.
  • 퍼셉트론이란? ( 단순 ) 퍼셉트론 알고리즘 여러 신호를 받아 머시깽이 연산을 하고, 그것을 하나의 출력 ( 0 / 1 ) 으로 나타내는 알고리즘입니다. 인공 신경망의 기초 개념이 되어 사용되고 있습니다. 노드 / 뉴런 퍼셉트론 알고리즘을 표현할 때, 원으로 표현하는 부분입니다. 예시로 x1, x2, x3.... 와 같은 입력값이 있습니다. 가중치 퍼셉트론 알고리즘을 계산시 입력 노드에서 받아온 x1, x2... 등의 입력값에 가중치 w1, w2... 를 곱한 후 결과값을 출력합니다. 임계값 특정 임계값 θ ( theta ) 를 정해놓고, 가중치 합이 임계값을 넘느냐 넘지 않느냐에 따라 결과값 0, 1 를 출력합니다. 학습이란 ? 학습이란, 원하는 출력값을 얻기 위한 최적의 가중치값와 임계값 즉, 매개변수 값을 찾아나.. 공감수 0 댓글수 0 2022. 1. 2.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.