Computer Science/Kafka3 비동기 이벤트 기반 아키텍처 적용 과정..(상편) 요약: 이벤트 기반 아키텍처 적용을 위한 트러블슈팅상황:하나의 서비스에서 여러 개의 리소스에 보내지는 데이터가 많아져 데이터 파이프라인으로 kafka를 사용하기로 하였다.과정:Redis는 임시 데이터와 인덱스 저장소로 Look-Aside 기법으로 사용하고, Kafka로 발행하는 비동기 처리를 하였다 MongoDB에서의 멱등성 보장과 오류 발생 시 자동 재시도 및 실시간 모니터링이 가능하게 하였다.event handler 안에서 bulk insert가 가능하도록 하였다. 오류가 발생한 항목은 제외하고 insert 할 수 있도록 bulkOps 옵션을 주었다.해결 중…:이벤트 유실을 방지하기 위해 OutBox 패턴을 적용하여 트랜잭션 단위의 원자성을 보장 할 것이다. 2025. 3. 12. window kafka 설치 방법 & mac에서 kafka 포트번호 바꾸기 $ sudo apt install openjdk-8-jdk --> 이부분만 바꿀 것(jdk 버전 따라서)$ sudo apt install openjdk-17-jdkhttps://blog.voidmainvoid.net/495 windows의 WSL환경에서 아파치 카프카 설치, 실행하는 방법1) git 설치 https://git-scm.com/download/win Git - Downloading Package Download for Windows Click here to download the latest (2.39.2) 32-bit version of Git for Windows. This is the most recent maintained build. It was released 10 days ago.. 2025. 3. 12. 카프카란..? https://pretty-pilot-212.notion.site/about-kafka-180708535dff80b0a23ce88a83987f79 about kafka | Notion1. 카프카 개요pretty-pilot-212.notion.site추후 수정 완료되면 tistory로 옮기도록 하겠습니다 2025. 1. 20. 이전 1 다음
