(광주인공지능학원) 활성화함수, 오차역전파, 경사하강법

활성화 함수란? (Activation Function) 신경망은 선형회귀와 달리 한 계층의 신호를 다음 계층으로 그대로 전달하지 않고 비선형적인 활성화 함수를 거친 후에 전달한다. 이렇게 하는 이유는 신경망을 모방하여 사람처럼 사고하는 인공지능 기술을 구현하기 위함이다. 실제로 비선형의 활성화 함수를 도입한 신경망이 잘 동작하고 있다. 오차역전파 오차역전파란 역전파는 계산 결과와 정답의 오차를 구해서 이 오차에 관여하는 노드 값들의 가중치와 편향을 수정하는데, 이때 오차역전파(backpropagation)는 오차가 작아지는 방향으로 반복해서 수정합니다. 이 횟수가 커지면 그만큼 정확성은 높아지지만 시간이 오래 걸리는 단점이 있고, 횟수가 작아지면 정확성은 떨어지지만 시간이 단축되는 장점이 있습니다. 이 ..