Data Store
[DB] 성능 최적화
2019.11.28 : Data Store서브 쿼리는 일반적으로 지양하는 편이 좋다 스칼라 서브쿼리는 리턴되는 건수마다 결과를 수행하기 때문에 대량의 결과가 리턴되는 쿼리에서는 성능이 몹시 떨어진다. 스칼라 서브쿼리란? subquery 위치에 따라서 다음과 같이 부른다. SELECT 절에 있는 서브쿼리 : 스칼라 서브쿼리 FROM 절에 있는 서브쿼리 : 인라인 뷰 WHERE 절에 있는 서브쿼리 : 서브쿼리 상황에 따라 이를 OUTER JOIN 등으로 변경할 수 있다. 실행 계획 (PLAN) 보기 Query는 비절차형 언어이기 때문에, 원하는 결과를 얻기 위한 시스템의 동작을 개발자가 하나하나 지정하는게 아니라 DBMS에게 Query를 주면 알아서 실행하고 결과를 돌려준다. 내가 넘긴 Query를 DBMS가 어떤 식으로 해석하고 실행할 것인가?를..
[DB] 분산 DB, 파티셔닝 ( partitioning ), 샤딩 (sharding)
2019.08.25 : Data Store파티셔닝(단편화) 란? 저장해야 하는 정보가 많은 대규모 시스템의 경우 하나의 DB에 모든 정보를 저장해서는 제대로 된 응답성을 기대할 수 없다. read가 많이 발생하든, write가 많이 발생하든 DB 저장하는 정보가 많을 수록 스캔 속도도 느려지고, 요청이 많은 경우 큐에 작업이 쌓이면서 응답도 느려진다. 그래서 DB를 여러대 운용해서 응답을 좀 분산해보자, 라는 생각을 하게 되는데, 가장 쉽게 생각해 볼만한건 Master DB의 데이터를 복제한 Slave DB를 두고, read를 분산하는 것이다. 스캔 속도는 그대로겠지만 요청을 분산할 수 있다. 그러나 이 방법은 write는 분산되지 않는다. Master에 write가 발생하면 이를 Slave에 복제 해줘야 하므로, 복제하면서 같은 내용의 wri..
[Transaction] lost update problem (isolation level, deadlock, update lock)
2019.07.23 : Data Store포인트 읽기 - 포인트 차감 순으로 DB 작업이 발생하는 상황이었다.```java@Transactionalpublic foo bar() { // SELECTMemberRestMileageInfo member = getMemberMileageByKey(memberKey); ... // UPDATEmemberInfoMapper.update(member); }``` 이런 상황에서 같은 `` memberKey`` 를 대상으로 빠르게 두 번 요청하면 갱신 손실 문제가 발생한다.``` T1 T2start transaction start transactionSELECT SELECTUPDATE UPDATE```즉, 먼저 들어온 트랜잭션이 UPDATE 하기 전에 다른 트랜잭션이 SELECT를 해버리면, 먼저 들어온 트랜..
Universal Database Tool
2019.05.27 : Data Store뭐 대단한 작업 할게 아니면 그냥 IntelliJ에 내장되어 있는 DB Tool 기능을 활용한다. 스마트 서치에서 Database 입력하면 있음. 단점은 intelliJ 프로젝트 마다 각각 DB연결 설정을 따로 해줘야 한다는 점. 뭔가 좀 더 복잡한 작업을 해야 하거나, 프로젝트마다 DB 설정을 따로 하기 귀찮다면 독립 툴 사용. DBeaver 다양한 DB들을 지원하고, Enterprise 버전이면 NoSQL들도 지원함. SQL developer Oracle을 쓸거라면 무난하고 괜찮음. Toad 검색하다 종종 보이는데 별로인 것 같음. Mac에서도 별로고 유료고... IntelliJ의 DataBase 좋은 기능이 여기서 DB를 조작(INSERT, DELETE, UPDATE 등등)한건 이 콘솔에서만 유효하..
확장성 해싱 VS 선형 해싱 : Shard key
2019.01.18 : Data Store선형 해싱 vs 확장성 해싱확장성 해싱은 global 디렉터리 구조(bucket address table)를 유지해야 한다는 단점이 있지만, 무조건 한 번의 쿼리로 데이터를 읽어올 수 있다. 선형 해싱은 global 디렉터리 구조를 유지하지 않는다는 장점이 있지만, 다음과 같은 단점이 있다.* overflow chain = synonym chain = 동거자 체인어디서 오버플로우가 발생하든, Next가 가리키는 앞쪽 버킷부터 split한다. - 선형 해싱은 어디까지 3비트로 읽어야 할지를 앞에서 부터 Next 이전까지는 3비트로, Next 부터는 2비트로 읽는 방식을 사용한다.어디서 overflow가 발생하든 앞에서 부터 순차적으로 split해 나간다. 따라서 맨 마지막 버킷에서 계속 overflow가 ..
redis / memcached
2017.10.05 : Data StorenoSQL메모리에 key:value를 올려둔다.메모리 작으면 쓰기 힘듦. redis기본 포트는 6379```bashredis/src/redis-server # 서버 실행redis/utils/install_server.sh # 백그라운드 데몬으로 서버 실행redis/src/redis-cli # cli interaction``` ```bashset key "value"get key FLUSHALL # 변수 초기화 savequitshutdown # redis-server terminate``` webshell upload```bashFLUSHALLeval 'redis.call("set", "", "test"); redis.call("config", "set", "dir", "/var/www/html/cache..
[mysql] 일반적인 SQL
2017.06.11 : Data StoreMySQL String Functionshttps://dev.mysql.com/doc/refman/5.7/en/string-functions.html CREATE TABLE | VIEW | DOMAINCREATE TABLE Syntax & Options자주 사용하는 옵션만 포함하면 이렇다.```sqlCREATE TABLE tbl_name( col_name1 data_type [NOT NULL] [AUTO_INCREMENT] [PRIMARY KEY], user_id BIGINT UNSIGNED PRIMARY KEY AUTO_INCREMENT, mileage INT unsigned NOT NULL . . . [PRIMARY KEY (pk),] [FOREIGN KEY (fk) REFERENCES _tbl(_c..
[mysql] 초기 설정 및 계정, DB
2017.06.11 : Data Store```bashsudo service mysql startsudo mysql 또는 mysql -u root [-p] [db_name]```ERROR 1045 (28000): Access denied for user 뜨면서 안될 때는 패스워드를 설정해준다.```bashmysqladmin -u root -p password``` SHOW자주 쓰는 ``sql SHOW`` 명령어```sqlhelp show; SHOW DATABASES;SHOW TABLES;SHOW FIELDS FROM tbl_name; -- Type | Null | Key | Default | Extra``` SET PASSWORD```sqlSET PASSWORD FOR user@host = PASSWORD('pw');````` root@loca..