전체 글
afterStep 에서 Exception을 던져도 다음 Step이 이어서 실행된다.
afterStep 에서 Exception을 던져도 다음 Step이 이어서 실행된다.
2023.09.19afterStep에서 검증 로직 돌린 후, 다음 Step 실행하지 않고 배치를 종료하고 싶은 경우가 있다. 배치 애플리케이션을 아예 종료해버리는 방법도 있지만, 보다 graceful 하게 처리하고 싶은 경우, 다음 Step이 실행되지 않도록 하려면? 종료 상태를 나타내는 Status는 BatchStatus와 ExitStatus 두개가 있다. https://docs.spring.io/spring-batch/docs/current/reference/html/index-single.html#batchStatusVsExitStatus ExitStatus represents the status of a Step after it finishes execution. on(ExitStatus...) 로 Step의 종료..
인덱스 관련 총정리
인덱스 관련 총정리
2023.08.15인덱스 관련 이론 6장. 물리적 데이터베이스 설계 : 인덱스 관련 https://dataonair.or.kr/인덱스 기본 원리 https://d2.naver.com/helloworld/1155 https://docs.oracle.com/cd/E11882_01/server.112/e40540/indexiot.htm#CNCPT721 커버링 인덱스 적용하기 https://jojoldu.tistory.com/476 https://docs.oracle.com/javadb/10.8.3.0/tuning/ctunoptimz30768.html 커버링 인덱스는 SELECT의 모든 컬럼이 인덱스에 들어있어야 적용된다. 허나 그렇지 않다고 하더라도, Data Filter 보다 Key Filter를 적용하는게 성능에 큰 도움이..
[Kotlin] as와 타입 캐스팅. 런타임 에러. 타입 파라미터 소거(erasure)
[Kotlin] as와 타입 캐스팅. 런타임 에러. 타입 파라미터 소거(erasure)
2023.08.13@Test fun typeCastTest() { val stringMap = mapOf( "a" to "0", "b" to "10.01" ) val bigDecimalMap = stringMap as Map println(bigDecimalMap) /* 문제 없이 실행된다. */ bigDecimalMap.forEach { val bigDecimal: BigDecimal = it.value println(bigDecimal) /* 컴파일은 잘 되지만.. */ /* 런타임에 class java.lang.String cannot be cast to class java.math.BigDecimal 에러 발생한다 */ } } 즉, bigDecimal는 BigDecimal 타입이고 it.value는 String 타..
Spring JDBC와 JdbcOperations
Spring JDBC와 JdbcOperations
2023.08.10Spring Data JDBC를 사용할 때, CrudRepository와 자동생성 쿼리 만으로는 커버가 되지 않는 경우가 반드시 생기고, 이 경우 @Query 보다는 JdbcOperations를 쓰는 것이 낫다. (see [Spring Data JDBC] docs) 따라서 CrudRepository를 아래와 같이 Dao로 확장해서 관리하는 것이 좋다. interface MerchantInfoRepository : NfcJdbcRepository @Repository class MerchantInfoDao( private val merchantInfoRepository: MerchantInfoRepository, private val jdbcOperations: NamedParameterJdbcOperat..
전문 해석기 배치 - File Line to Domain Model 변환
전문 해석기 배치 - File Line to Domain Model 변환
2023.07.29전문 해석 시 고려해야 하는 것들은, align, padding, trim, 날짜 포맷, 숫자 포맷 변환 등이다. 문자 타입은 끝문자 trim 정도만 처리하면 제대로 매핑되지만, 날짜, 숫자 포맷은 전문 송신처에 따라 포맷이 각각 달라 디테일한 처리가 필요하다. - e.g., 0.8%을 어디서는 00080000 으로 보내고, 어디서는 00.80으로 보냄. - padding도 어디서는 (0, LEFT)로, 어디서는 (' ', RIGHT) RIGHT로 할 수 있음 - 날짜를 어디서는 yyyyMMdd를 사용하고, 어디서는 yyMMdd 사용함. 따라서 전문 해석 케이스를 정리해보면, 크게 2가지 클래스가 필요하다. class A ⇒ fieldSet에서 꺼내서 type 변환하고, align에 따라 padding ..
전문 해석기 배치 LineMapper - TelegramFieldSetMapper
전문 해석기 배치 LineMapper - TelegramFieldSetMapper
2023.07.26RecordFieldSetMapper로 모든 케이스의 전문 변환이 커버 가능할까? => 아니다. public interface ConversionService { override fun convert(source: Any?, sourceType: TypeDescriptor?, targetType: TypeDescriptor): Any? } // 위 메서드는 아래 호출 구문을 통해서 넘어오는데... public class RecordFieldSetMapper implements FieldSetMapper { public T mapFieldSet(FieldSet fieldSet) { args[i] = this.typeConverter.convertIfNecessary(fieldSet.readRawString..
Enum VS String : 외부 API 요청에 대한 응답 코드로 enum을 쓰는게 좋을까?
Enum VS String : 외부 API 요청에 대한 응답 코드로 enum을 쓰는게 좋을까?
2023.07.13상황 1) 외부 API 요청에 대한 응답 코드로 enum을 쓰는게 좋을까? 요약 ) 외부 API 요청에 대한 응답 코드나, 내 API에 대한 요청 코드의 타입은 enum으로 정의하는 것 보다 String으로 정의하고 enum 변환하는게 더 유연하다. (fault tolerance) enum에 정의 되어 있지 않은 값이 응답 코드로 들어올 수 있기 때문에 이에 대한 처리를 생각해 주어야 한다. (e.g., 예고 없이 갑자기 추가된 응답 코드) Exception 발생 해도 상관 없는 경우) 기본적으로 Exception 발생하게 되어 있다. 기본 Exception 메시지에서 @JsonValue 기준 값이 로깅된다. Caused by: com.fasterxml.jackson.databind.exc.Invalid..
전문 해석기 배치 LineMapper - BeanWrapperFieldSetMapper와 RecordFieldSetMapper의 차이
전문 해석기 배치 LineMapper - BeanWrapperFieldSetMapper와 RecordFieldSetMapper의 차이
2023.06.29LineMapper는 크게 Tokenizer와 FieldSetMapper로 이루어진다. 전문 특성상 LineMapper로는 PatternMatchingCompositeLineMapper를 Tokeinizer로는 FixedLengthTokenizer를 사용하면 되는데 FieldSetMapper로는 세 가지 선택지가 있다. 1. BeanWrapperFieldSetMapper 2. RecordFieldSetMapper 3. 직접 구현 이 중 SpringBoot에서 기본 제공하는 1, 2에 대해 비교해보았다. class SampleModel() { var field1: String? = null var field2: Int? = null var field3: Double? = null var field4: Bi..
전문 해석기 배치 LineMapper - PatternMatchingCompositeLineMapper
전문 해석기 배치 LineMapper - PatternMatchingCompositeLineMapper
2023.06.22전문은 line의 맨 처음 시작 문자 (H, D, T 등)에 따라서 라인의 포맷, 필드가 달라진다. 배치에서 파일을 읽어와 맨 처음 시작 문자를 보고, 적절하게 분기해서 lineMapping 해야 하는 상황이었다. 기존 코드에서는 FlatFileItemReader를 상속한 TelegramFileItemReader가 있고, 여기서 LineMapper들을 가지고 있으면서, 분기처리해서 적절한 lineMapper를 불러주는 방식으로 처리하고 있었다. 헌데 내 생각에는 FlatFileItemReader는 resource에서 data를 읽어오는 책임이지, 읽어온 line 내부에 대해서는 관여하지 않는게 좋아보였다. 말 그대로 FileItemReader니까, FileItemRead만 제대로 하면 OK인 것이고, 상..
Exactly once는 가능할까?
Exactly once는 가능할까?
2023.06.19요약 ) 동작 중 서버 다운에 대한 대책. exactly once가 가능하려면... 동작 수행과 수행 결과에 대한 저장이 transaction이나 atomic으로 이루어 질 수 있어야 한다 원격지 서버 API 요청 동작 시, 네트워크 장애에 대한 대책. exactly once가 가능하려면... 처리 요청 보내기 전, 원격지에서 기존 처리 목록을 확인 할 수 있어야 한다. 또는, 원격지에서 hash나 id를 보고 동일한 요청이 들어오면 처리제외하는 방어 로직이 들어가 있어야 한다. exactly once delivery는 불가능. exactly once processing은 가능. 메시지 중복이나 누락이 발생하는 상황? 크게 2가지 어려운 포인트를 고민해야 한다. 서버 다운과 네트워크 장애다. kafka..
[Spring Batch] cli 실행 - JobLauncherApplicationRunner
[Spring Batch] cli 실행 - JobLauncherApplicationRunner
2023.06.16SpringBoot 안쓰는 경우 - CommandLineJobRunner Configuring and Running a Job Because the script launching the job must kick off a Java Virtual Machine, there needs to be a class with a main method to act as the primary entry point. Spring Batch provides an implementation that serves just this purpose: CommandLineJobRunner. It’s i docs.spring.io 공식 docs 참고 - https://docs.spring.io/spring-batch/docs/4.3..
Spring Boot 3 에서 변경된 부분 (Batch)
Spring Boot 3 에서 변경된 부분 (Batch)
2023.06.14https://www.baeldung.com/spring-boot-3-migration#spring-batch 6.1. @EnableBatchProcessing Discouraged Previously, we could enable Spring Batch’s auto-configuration, annotating a configuration class with @EnableBatchProcessing. The new release of Spring Boot discourages the usage of this annotation if we want to use autoconfiguration. In fact, using this annotation (or defining a bean that implem..