반응형 DL3 Back Propagation Back Propagation(오차 역전파, BP) BP의 목표 : 순방향(feed-forward) 네크워크에서 에러 함수 E(w) 의 그라디언트를 가장 효율적으로 구하는 식을 구하자. 입니다! 순방향 예측(Feed-forward Propagation Inference, FP)에서 나온 예측 값을 통해 네트워크의 Loss function L(w)의 Gradient를 효율적으로 구하는 algorithm입니다. 저는 BP를 학습 그 자체라고 이해하였습니다. 역전파는 경사하강법과 같은 Optimizer를 통해서 오차가 최소화되는 방향으로 가중치를 update한다. 라고 한 줄 요약할 수 있을 것 같습니다. 1) BP를 통해 기울기를 구한다. 2) Opimizer가 BP를 통해 구한 기울기를 사용하여 train.. 2023. 2. 16. 인공신경망이란 인공신경망(Artificial Neural Network, ANN)이란 생물학의 신경망에서 영감을 얻은 학습 알고리즘입니다. 시냅스의 결합으로 네트워크를 형성한 인공 뉴런이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제해결능력을 가지는 비선형 모델이라고 설명할 수 있습니다.(자극을 전달 받고! 전달할지 말지 정하고! 전달하고!, 기능만 살려서 표현해보자!) ANN은 노드(동그라미)와 엣지(선)로 이루어져있습니다. 선은 웨이트(중요도)와 바이어스(민감도)라는 학습 매개변수를 의미하고 있습니다. 노드는 각 가중치와 입력값의 합과 그 합을 Activation Function이용하여 비선형 변환을 해주는 것을 의미하고 있습니다. 위 그림과 같이 노드끼리 모두 연결되어 있는 층을 FC(Fully-connecte.. 2023. 2. 15. AI란 AI, ML, DL AI(인공지능, Artificial Intelligence)란 컴퓨터로 사람의 기능을 흉내내기 위한 알고리즘을 의미 ML을 제외한 AI algorithm은 rule based algorithm이라고 한다. Ex) 로봇 청소기, expert system.. ML(기계학습)이란 AI중에서 학습을 기반으로 하는 알고리즘 학습이나 데이터를 기반으로 하는 알고리즘이기 때문에, data based algorithm이라고도 한다. Tree SVM NN(신경망) DL이란 ML갈래 중 ANN에 Hidden layer가 깊어진 형태에 대한 알고리즘이다. 인간의 사고 방식을 흉내 내자라는 곳에서 시작 되었다. DNN에 node가 의미하는 것을 해석하는 것은 매우 힘든 일이다.(XAI_Task) ex)ML.. 2022. 12. 20. 이전 1 다음 반응형
