비동기 이벤트 기반 아키텍처 적용 과정..(상편)

요약: 이벤트 기반 아키텍처 적용을 위한 트러블슈팅

상황:

• 하나의 서비스에서 여러 개의 리소스에 보내지는 데이터가 많아져 데이터 파이프라인으로 kafka를 사용하기로 하였다.

과정:

• Redis는 임시 데이터와 인덱스 저장소로 Look-Aside 기법으로 사용하고, Kafka로 발행하는 비동기 처리를 하였다

 

MongoDB에서의 멱등성 보장과 오류 발생 시 자동 재시도 및 실시간 모니터링이 가능하게 하였다.

event handler 안에서 bulk insert가 가능하도록 하였다. 오류가 발생한 항목은 제외하고 insert 할 수 있도록 bulkOps 옵션을 주었다.

해결 중…:

• 이벤트 유실을 방지하기 위해 OutBox 패턴을 적용하여 트랜잭션 단위의 원자성을 보장 할 것이다.