인공신경망 ( ANN ) 6-1 최적화 - 가중치 최적화 기법
매개변수 갱신(최적화) 기법 가장 좋은 기법은 없고, 풀어야 할 문제가 어떤 것이냐에 따라 좋은 기법이 다르다. 각각의 장단이 있다. 그러나 보통은 기본 SGD보다는 나머지 방법이 좋은 결과를 보인다. 일반적으로 Adam이 가장 좋은 결과를 보이기 때문에 기본 optimizer로 사용한다. http://newsight.tistory.com/224...
엄범
인공신경망 ( ANN ) 5 오차역전파법(backpropagation)
numerical_gradient에서는 수치 미분을 통해 기울기를 계산했었는데 이는 다음과 같은 두가지 문제점이 있다. 정확한 미분값이 아니라, 근사값이다. 속도가 너무 느리다. \(w_1, …, w_n\)까지 있으면, 기울기를 계산하기 위해 이 각각을 대상으로 \(\frac{loss(x+h) - loss(x-h)}{2h}\)를 구해야 한다....
인공신경망 ( ANN ) 4-2 학습 ( 미분, 기울기, 경사법, 신경망 학습 과정 )
미분 (differential) \[\frac{d}{dx}f(x) = \lim_{\Delta x \to 0}\frac{f(x + \Delta x) - f(x)}{\Delta x}\] x+h와 x 사이의 기울기를 얻는 것(전방 차분) 보다 x-h와 x+h 사이의 기울기를 얻는 것(중심 차분, 중앙 차분)이 오차가 더 적다. 부동소수점 오차가 발생하지 않...
인공신경망 ( ANN ) 4-1 학습 ( 손실함수, 오차함수 )
손실 함수 ( loss function ) ANN에서는 학습을 통해 최적의 가중치 매개변수를 결정하기 위한 지표로(기준으로) 손실 함수(loss function) 를 사용한다. [!info] 손실 함수의 결과값(오차)을 가장 작게 만드는 것이 신경망 학습의 목표이고, 손실 함수의 결과값을 작게 만들기 위해서 가중치 매개변수를 조작해 나가는 과...
(Front-end) DOM 이벤트 모델
https://stackoverflow.com/questions/12627443/jquery-click-vs-onclick eventuality 이벤트 핸들러 추가, 실행, 관리 객체 https://github.com/umbum/Web/blob/master/JS/goodparts/eventuality.html 이벤트 흔히 사용하는 window.on...
(JS) 팁, 문서 객체 모델(DOM)
TIP 웹 브라우저는 <head>를 먼저 읽고 <body>를 읽는다. 일반적으로 <script>는 가독성을 위해 <head>에 넣는 것이 좋다. 웹 브라우저는 <script> 내의 내용을 위에서 부터 한 줄씩 읽기 전에 선언적 함수부터 읽는다. 선언적 함수 = 함수...
인공신경망 ( ANN ) 3 MNIST 이미지 인식 ( 분류/추론/순전파 )
ANN에서 문제를 해결하는 방식은 두 단계로 이루어져 있다. 학습 : 학습 데이터를 이용해 가중치 매개변수를 학습한다. (지도 학습, SL(Supervised Learning)) 추론 : 학습한 가중치 매개변수를 이용해 입력 데이터에 대한 결과를 추측한다. 학습은 지도 학습(Supervised Learning)과 비지도 학습(Unsuperv...
인공신경망 ( ANN ) 2 신경망 구조, softmax 함수
신경망 출력 계산 신경망 각 층의 출력 계산은 행렬곱으로 처리할 수 있다. 2017/03/11 - [Coding/python] - [python] numpy, matplotlib np.dot()을 사용하면 신경망의 출력을 쉽게 계산할 수 있다. 행렬곱 == 스칼라곱 ( scalar product, dot product ) == 내적 ( i...
인공신경망 ( ANN, Artificial Neural Network ) 1 활성화 함수
인공신경망 ( ANN, Artificial Neural Network ) 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화 시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층 퍼셉트론을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 인공신경망은 ...
퍼셉트론( perceptron )
퍼셉트론과 단층 퍼셉트론 ( single-layer perceptron ) 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 모델을 말한다. 입력으로는 입력 \(x\), 가중치 \(w\), 임계값 \(\theta\) 또는 편향 \(b(= -\theta)\)를 가진다. 뉴런에서 보내온 신호의 총합이 임계값을 넘어설 때 1을 출력한...