numerical_gradient에서는 수치 미분을 통해 기울기를 계산했었는데 이는 다음과 같은 두가지 문제점이 있다. 정확한 미분값이 아니라, 근사값이다. 속도가 너무 느리다. \(w_1, …, w_n\)까지 있으면, 기울기를 계산하기 위해 이 각각을 대상으로 \(\frac{loss(x+h) - loss(x-h)}{2h}\)를 구해야 한다....

미분 (differential) \[\frac{d}{dx}f(x) = \lim_{\Delta x \to 0}\frac{f(x + \Delta x) - f(x)}{\Delta x}\] x+h와 x 사이의 기울기를 얻는 것(전방 차분) 보다 x-h와 x+h 사이의 기울기를 얻는 것(중심 차분, 중앙 차분)이 오차가 더 적다. 부동소수점 오차가 발생하지 않...

손실 함수 ( loss function ) ANN에서는 학습을 통해 최적의 가중치 매개변수를 결정하기 위한 지표로(기준으로) 손실 함수(loss function) 를 사용한다. [!info] 손실 함수의 결과값(오차)을 가장 작게 만드는 것이 신경망 학습의 목표이고, 손실 함수의 결과값을 작게 만들기 위해서 가중치 매개변수를 조작해 나가는 과...

https://stackoverflow.com/questions/12627443/jquery-click-vs-onclick eventuality 이벤트 핸들러 추가, 실행, 관리 객체 https://github.com/umbum/Web/blob/master/JS/goodparts/eventuality.html 이벤트 흔히 사용하는 window.on...

TIP 웹 브라우저는 <head>를 먼저 읽고 <body>를 읽는다. 일반적으로 <script>는 가독성을 위해 <head>에 넣는 것이 좋다. 웹 브라우저는 <script> 내의 내용을 위에서 부터 한 줄씩 읽기 전에 선언적 함수부터 읽는다. 선언적 함수 = 함수...

ANN에서 문제를 해결하는 방식은 두 단계로 이루어져 있다. 학습 : 학습 데이터를 이용해 가중치 매개변수를 학습한다. (지도 학습, SL(Supervised Learning)) 추론 : 학습한 가중치 매개변수를 이용해 입력 데이터에 대한 결과를 추측한다. 학습은 지도 학습(Supervised Learning)과 비지도 학습(Unsuperv...

신경망 출력 계산 신경망 각 층의 출력 계산은 행렬곱으로 처리할 수 있다. 2017/03/11 - [Coding/python] - [python] numpy, matplotlib np.dot()을 사용하면 신경망의 출력을 쉽게 계산할 수 있다. 행렬곱 == 스칼라곱 ( scalar product, dot product ) == 내적 ( i...

인공신경망 ( ANN, Artificial Neural Network ) 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화 시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층 퍼셉트론을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 인공신경망은 ...

퍼셉트론과 단층 퍼셉트론 ( single-layer perceptron ) 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 모델을 말한다. 입력으로는 입력 \(x\), 가중치 \(w\), 임계값 \(\theta\) 또는 편향 \(b(= -\theta)\)를 가진다. 뉴런에서 보내온 신호의 총합이 임계값을 넘어설 때 1을 출력한...

NumPy 그냥 python for 돌면 무조건 느리다. C가 아니니까… 파이썬으로 아무리 해봐야 크게 개선이 안됨. 그래서 Pandas나 Numpy가 제공하는 방법 대로 접근하는게 제일 효과적인 성능 개선 방법. import numpy as np x = np.array([1, 2, 3]) print(type(x)) > <...