쿠키(Cookie)와 저장소(Storage)
Cookie와 Storage 모두 개발자 도구의 Application 탭에서 확인할 수 있다. Cookie는 EditThisCookie 크롬 확장프로그램을 사용하는 것이 편하다. Cookie 서버에서 클라이언트가 쿠키를 설정하도록 지정할 수도 있고, 클라이언트에서 자체적으로 설정할 수도 있다. HTTP는 stateless protocol이...
엄범
(Chrome) 개발자 도구 ( Developer Tools ) / 포터블
Elements 페이지 내의 문서 객체와 관련된 속성 을 실시간으로 확인할 수 있다. Console 콘솔 로그 를 확인할 수 있다. Esc를 누르면 팝업으로 창이 뜬다. console.log Sources 브라우저가 HTML을 해석하기 이전의 웹서버로부터 전송된 원본 source를 확인할 수 있다. 예를 들면 Elements...
딥러닝 ( DL, Deep Learning ) / 심층 신경망 ( DNN )
딥러닝, 심층 신경망 딥러닝은 사실상 층을 깊게 쌓은 심층 신경망(DNN)을 가리키는 말이다. 여태까지는 오버피팅, 높은 시간 복잡도 때문에 층을 깊게 쌓는게 불가능했었지만 오버피팅은 Dropout으로, 높은 시간 복잡도는 GPU의 병렬처리를 이용해 해결하여 층을 깊게 쌓는 것이 가능해져 주목받게 되었다. 여러 머신러닝 알고리즘 중에 신경망이, 그 ...
합성곱 신경망 ( CNN, Convolutional Neural Network )
CNN, Convolutional Neural Network CNN은 합성곱(Convolution) 연산을 사용하는 ANN의 한 종류다. Convolution을 사용하면 3차원 데이터의 공간적 정보를 유지한 채 다음 레이어로 보낼 수 있다. 대표적인 CNN으로는 LeNet(1998)과 AlexNet(2012)이 있다. VGG, GoogLeNet, Re...
인공신경망 ( ANN ) 6-3 최적화 - 오버피팅 방지( weight decay, droupout ) / 하이퍼파라미터 최적화
오버피팅( Overfitting ) 오버피팅은 훈련 데이터에만 지나치게 적응하여 시험 데이터에 제대로 반응하지 못하는 현상을 말한다. 주로 다음 경우에 발생한다. 매개변수가 많고 표현력이 높은 모델인 경우 훈련 데이터가 적은 경우 Regularization 오버피팅을 억제하기 위해서 다음과 같은 regularization 기법을 사용한다....
인공신경망 ( ANN ) 6-2 최적화 - 초기 가중치 설정, 기울기 소실( gradient vanishing ), 배치 정규화 ( batch normalization )
초기 가중치 설정 오버피팅 문제 때문에 언제까지고 반복을 돌려 정확도를 올릴 수는 없기 때문에, 최적의 초깃값으로 설정하는게 도움이 된다. 초기 가중치에 따른 활성화값 분포 활성화 함수의 출력 데이터를 활성화값이라고 하는데, 초기 가중치에 따른 활성화값의 분포를 관찰하면 중요한 정보를 얻을 수 있다. 활성화 함수로 sigmoid를 사용하며 W는...
인공신경망 ( ANN ) 6-1 최적화 - 가중치 최적화 기법
매개변수 갱신(최적화) 기법 가장 좋은 기법은 없고, 풀어야 할 문제가 어떤 것이냐에 따라 좋은 기법이 다르다. 각각의 장단이 있다. 그러나 보통은 기본 SGD보다는 나머지 방법이 좋은 결과를 보인다. 일반적으로 Adam이 가장 좋은 결과를 보이기 때문에 기본 optimizer로 사용한다. http://newsight.tistory.com/224...
인공신경망 ( ANN ) 5 오차역전파법(backpropagation)
numerical_gradient에서는 수치 미분을 통해 기울기를 계산했었는데 이는 다음과 같은 두가지 문제점이 있다. 정확한 미분값이 아니라, 근사값이다. 속도가 너무 느리다. \(w_1, …, w_n\)까지 있으면, 기울기를 계산하기 위해 이 각각을 대상으로 \(\frac{loss(x+h) - loss(x-h)}{2h}\)를 구해야 한다....
인공신경망 ( ANN ) 4-2 학습 ( 미분, 기울기, 경사법, 신경망 학습 과정 )
미분 (differential) \[\frac{d}{dx}f(x) = \lim_{\Delta x \to 0}\frac{f(x + \Delta x) - f(x)}{\Delta x}\] x+h와 x 사이의 기울기를 얻는 것(전방 차분) 보다 x-h와 x+h 사이의 기울기를 얻는 것(중심 차분, 중앙 차분)이 오차가 더 적다. 부동소수점 오차가 발생하지 않...
인공신경망 ( ANN ) 4-1 학습 ( 손실함수, 오차함수 )
손실 함수 ( loss function ) ANN에서는 학습을 통해 최적의 가중치 매개변수를 결정하기 위한 지표로(기준으로) 손실 함수(loss function) 를 사용한다. [!info] 손실 함수의 결과값(오차)을 가장 작게 만드는 것이 신경망 학습의 목표이고, 손실 함수의 결과값을 작게 만들기 위해서 가중치 매개변수를 조작해 나가는 과...