반응형 딥러닝3 Back Propagation Back Propagation(오차 역전파, BP) BP의 목표 : 순방향(feed-forward) 네크워크에서 에러 함수 E(w) 의 그라디언트를 가장 효율적으로 구하는 식을 구하자. 입니다! 순방향 예측(Feed-forward Propagation Inference, FP)에서 나온 예측 값을 통해 네트워크의 Loss function L(w)의 Gradient를 효율적으로 구하는 algorithm입니다. 저는 BP를 학습 그 자체라고 이해하였습니다. 역전파는 경사하강법과 같은 Optimizer를 통해서 오차가 최소화되는 방향으로 가중치를 update한다. 라고 한 줄 요약할 수 있을 것 같습니다. 1) BP를 통해 기울기를 구한다. 2) Opimizer가 BP를 통해 구한 기울기를 사용하여 train.. 2023. 2. 16. 인공신경망이란 인공신경망(Artificial Neural Network, ANN)이란 생물학의 신경망에서 영감을 얻은 학습 알고리즘입니다. 시냅스의 결합으로 네트워크를 형성한 인공 뉴런이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제해결능력을 가지는 비선형 모델이라고 설명할 수 있습니다.(자극을 전달 받고! 전달할지 말지 정하고! 전달하고!, 기능만 살려서 표현해보자!) ANN은 노드(동그라미)와 엣지(선)로 이루어져있습니다. 선은 웨이트(중요도)와 바이어스(민감도)라는 학습 매개변수를 의미하고 있습니다. 노드는 각 가중치와 입력값의 합과 그 합을 Activation Function이용하여 비선형 변환을 해주는 것을 의미하고 있습니다. 위 그림과 같이 노드끼리 모두 연결되어 있는 층을 FC(Fully-connecte.. 2023. 2. 15. 지도 학습 지도 학습이란 정답이 있는 데이터를 활용해 딥러닝 모델을 학습 시키는 것을 의미합니다. 제가 생각하는 지도학습은 정답과 예측의 차이를 줄여나가는 과정이라고 생각합니다. 학습을 진행하면서 점점 더 예측을 잘하는 모델로 변화하게 됩니다. 학습이란 것은 결국 Weight와 bias를 업데이트 하는 것을 의미하게 됩니다. 지도 학습 Process 순전파 예측을 통해 예측 값을 먼저 출력합니다. 그 예측 값과 정답의 오차를 구하게 됩니다. 이 때 오차의 수치화를 위해 Cost Function이라고 하는 함수를 사용하게 되는데 다음 글에 설명이 있으니 지금은 넘어가도록 하겠습니다. 구한 오차로 더 좋은 예측을 할 수 있게 weight와 bias를 update하게 됩니다. 제가 생각하는 지도학습의 과정입니다. 부족한.. 2023. 2. 15. 이전 1 다음 반응형
