전체 글
[DB] 성능 최적화
2019.11.28 : Data Store서브 쿼리는 일반적으로 지양하는 편이 좋다 스칼라 서브쿼리는 리턴되는 건수마다 결과를 수행하기 때문에 대량의 결과가 리턴되는 쿼리에서는 성능이 몹시 떨어진다. 스칼라 서브쿼리란? subquery 위치에 따라서 다음과 같이 부른다. SELECT 절에 있는 서브쿼리 : 스칼라 서브쿼리 FROM 절에 있는 서브쿼리 : 인라인 뷰 WHERE 절에 있는 서브쿼리 : 서브쿼리 상황에 따라 이를 OUTER JOIN 등으로 변경할 수 있다. 실행 계획 (PLAN) 보기 Query는 비절차형 언어이기 때문에, 원하는 결과를 얻기 위한 시스템의 동작을 개발자가 하나하나 지정하는게 아니라 DBMS에게 Query를 주면 알아서 실행하고 결과를 돌려준다. 내가 넘긴 Query를 DBMS가 어떤 식으로 해석하고 실행할 것인가?를..
[IntelliJ] 내장 Tomcat 사용하지 않고 직접 연결하기
2019.11.26 : Utilities/IDEtomcat 설치 ```bash # java 먼저 설치하고, JAVA_HOME 환경변수 설정. $ brew search tomcat $ brew install tomcat $ /usr/local/Cellar/tomcat@8/8.5.49/bin/catalina configtest # 확인 차 $ /usr/local/Cellar/tomcat@8/8.5.49/bin/catalina start # localhost:8080 접속해서 잘 뜨나 확인 $ /usr/local/Cellar/tomcat@8/8.5.49/bin/catalina stop ``` IntelliJ 연동 Run - Edit Configurations... Tomcat Server 항목 추가 Tomcat Home 경로는 `` /usr/local/C..
[JS] ArrayBuffer와 DataView : TypedArray
2019.10.31 : Languages & Frameworks/JSArrayBuffer는 다음과 같은 상황에서 유용하다. 어떤 API가 커다란 사이즈의 Buffer를 통째로 받아야 해서, Buffer에 여러가지 정보를 담아서 넘겨야 한다. (예를 들어 WebGL. 여러가지 Instance의 정보를 한꺼번에 Buffer에 담아서 넘겨야 한 번에 Buffer를 보고 쭉 그릴 수 있다.) C/C++라면 memcpy를 사용해도 되고 포인터를 이용해서 직접 써도 되지만, JS는 그렇지 않다. 그래서 ArrayBuffer를 이용해서 커다란 Buffer를 할당한 다음, (malloc) Type, byteOffset, length를 지정해서 Buffer의 일부 영역을 Chunk로 반환 받을 수 있다. (포인터로 연결하는 것 같은 느낌) Buffer Chunk1 (Int32Array)..
피어슨 상관 계수 (Pearson Correlation Coefficient)
2019.10.20 : Machine Learning/Theory두 변수가 어떤 상관 관계를 가지는가?를 의미하는 수치다. +1은 완벽한 양의 선형 상관 관계, 0은 선형 상관 관계 없음, -1은 완벽한 음의 선형 상관 관계를 의미한다. X와 Y 사이의 피어슨 상관 계수를 구하는 식은 다음과 같다 \\[r_{XY} = \frac{ \sum^n_i (X_i - \bar{X})(Y_i - \bar{Y}) }{ \sqrt{\sum^n_i (X_i - \bar{X})^2} \sqrt{\sum^n_i (X_i - \bar{X})^2} } \\] 여기서 X, Y는 vector인데 식을 조금 들여다보면 결국 다음과 같은 과정이다. 1. 각 vector의 표본평균\\(\bar{A}\\)를 구해서 A의 0이 아닌 각 원소에 빼주어 normalization하고, 2. normalize..
지급결제란?
2019.10.09 : Liberal arts/Payment참고1. https://www.bok.or.kr/portal/main/contents.do?menuNo=200347 참고2. 지급결제/송금 프로세스 및 시스템 구성 - PART I (ver 4.0) 참고3. 금융결제원, 한국은행, 은행의 지급결제 망 구조 프로세스 등등 지급결제제도 개요 쉽게 말하면 어떤 경제활동으로 인해 돈을 지급하는 것을 지급결제라고 한다. 물건을 구매한다거나, 서비스를 이용한다거나, 핸드폰 요금을 낸다거나, 월급을 준다거나 하는 모든 것이 지급결제다. 우리나라의 지급결제제도 우리나라의 주요 지급결제시스템 한국은행의 거액결제시스템 / 금융결제원의 소액결제시스템 / 한국예탁결제원 및 한국거래소의 증권결제시스템 / 외환결제시스템 거액결제시스템은 건수가 많지 않고 금액이 크기 때문에 요청 ..
[Spring] Controller에서 사용하는 애너테이션
2019.09.25 : Languages & Frameworks/Spring@RequestParam queryString이나 form 요청에서 파라미터를 하나 하나 받을 때 사용한다. ```java @RequestParam("name") @RequestParam(value="name", defaultValue="unknown") // ?name이 없어도 4** 뜨지 않음 @RequestParam(value="name", required=false) ``` 파라미터 하나 하나 마다 애너테이션을 적어줘야 하니 여러개를 받을 때는 지저분해져서 부적합하다. 여러개를 한번에 받기 위해 아래 처럼 Map으로 받는 방식은 쓰지 않는 것이 좋다. 대신 커맨드 객체(+@ModelAttribute)를 사용하자. ```java // 아래 방식은 별로다. 커맨드 객체를 쓰자 @RequestParam..
PG / VAN 이란?
2019.09.23 : Liberal arts/PaymentPG (Payment Gateway) PG == 전자결제를 대행 업체 전자결제 대행 서비스란, 인터넷 쇼핑몰에서 상품 및 서비스를 구매하는 고객들의 결제(신용카드 및 기타 결제수단)를 중계하는 서비스를 의미한다. PG는 왜 필요한가? 무슨 일을 하나? 온라인 카드 결제를 처리할 때, PG가 하는 일은 다음과 같다. (e.g., mpi 일반결제) VAN과 계약 하고 ㅇㅇ카드, ㅁㅁ카드, ... 선택 페이지 만들고 ㅇㅇ카드 선택 시 VAN에서 요구하는 파라미터들과 함께 팝업으로 VAN을 호출 VAN은 VAN 페이지 -> 카드사 페이지로 포워딩 카드사 페이지에 카드 번호 입력해서 카드사 측에서 인증이 완료되면, 카드사는 인증 완료되었다는 키값을 돌려주고 이 키 값을 이용해서 VAN에 승인 요청 TCP 전문으로..
2019 네이버 인턴 -> 정규직 전환 면접(1차, 2차) 후기
2019.09.19이 글은 보호되어 있기 때문에 이것을 보려면 암호가 필요합니다.
Website for public datasets
2019.09.10 : Machine Learning/TheoryRecommendation datasets: http://cseweb.ucsd.edu/~jmcauley/datasets.html https://www.wikidata.org/wiki/Wikidata:Database_download/ko Machine learning datasets (including clustering): https://archive.ics.uci.edu/ml/index.php Various datasets: https://www.kaggle.com/datasets Network(graph) datasets: https://snap.stanford.edu/data/ Graph datasets: https://graphchallenge.mit.edu/data-sets Web graphs:..
if kakao 2019 day1 참석 후기
2019.08.29 : 후기/기타 후기Keynote 키워드는 Growth 기억에 남는 문구는? 개발자는 곧 첫번째 고객. 개발자의 의견이 프로덕트에 적극적으로 반영되어야한다. 오픈소스 DB 흐르는 데이터를, 실시간 데이터 변경 재배치하는게 목표. 왜 필요한가? shard에도 한계가 있어서? Overwrite & Sequential & Parallel 데이터 분산 재배치 방안 2가지? 1. SQL로 데이터 퍼가기 2. Change Data Capture로 변경분 퍼가기 SQL로 데이터 퍼가기? 상대적으로 구조가 간결하지만 소스에 DB에 부하.(SELECT, INDEX) 지연된 커밋에 따라 데이터 누락 발생 가능. CDC로 변경분 퍼가기 소스 DB에 SELECT등이 발생하지 않기 때문에 부하가 거의 없음. 비동기 데이터 복제 및 복제 시스템 운..
HTTP/2
2019.08.29 : Network & Protocol & Infra많은 곳에서 이미 사용중이다. (google은 http/2+quic/46 를 사용한다.) HTTP/1.1 과의 주요한 차이점은, HTTP body 부분이 1.1에서는 text로 전송되었던 것과 달리 2.0에서는 binary로 전송된다는 점이다. 기존에는 http header와 body가 \r\n으로 구분되었으나... HTTP/2.0에서 부터는 header와 body가 layer로 구분된다. (이를 binary framing layer라고 부르고 있다.) 동시에 이전에는 header-body를 묶은 http message가 전송 최소 단위였다면, 2.0에서는 전송 최소 단위가 binary frame이 된다. 우측 그림의 프레임 하나 하나가 전송 최소 단위가 될 수 있다. 왜 binary로 해야 하는가? 기..
[DB] 분산 DB, 파티셔닝 ( partitioning ), 샤딩 (sharding)
2019.08.25 : Data Store파티셔닝(단편화) 란? 저장해야 하는 정보가 많은 대규모 시스템의 경우 하나의 DB에 모든 정보를 저장해서는 제대로 된 응답성을 기대할 수 없다. read가 많이 발생하든, write가 많이 발생하든 DB 저장하는 정보가 많을 수록 스캔 속도도 느려지고, 요청이 많은 경우 큐에 작업이 쌓이면서 응답도 느려진다. 그래서 DB를 여러대 운용해서 응답을 좀 분산해보자, 라는 생각을 하게 되는데, 가장 쉽게 생각해 볼만한건 Master DB의 데이터를 복제한 Slave DB를 두고, read를 분산하는 것이다. 스캔 속도는 그대로겠지만 요청을 분산할 수 있다. 그러나 이 방법은 write는 분산되지 않는다. Master에 write가 발생하면 이를 Slave에 복제 해줘야 하므로, 복제하면서 같은 내용의 wri..