Computer Science10 비동기 이벤트 기반 아키텍처 적용 과정..(상편) 요약: 이벤트 기반 아키텍처 적용을 위한 트러블슈팅상황:하나의 서비스에서 여러 개의 리소스에 보내지는 데이터가 많아져 데이터 파이프라인으로 kafka를 사용하기로 하였다.과정:Redis는 임시 데이터와 인덱스 저장소로 Look-Aside 기법으로 사용하고, Kafka로 발행하는 비동기 처리를 하였다 MongoDB에서의 멱등성 보장과 오류 발생 시 자동 재시도 및 실시간 모니터링이 가능하게 하였다.event handler 안에서 bulk insert가 가능하도록 하였다. 오류가 발생한 항목은 제외하고 insert 할 수 있도록 bulkOps 옵션을 주었다.해결 중…:이벤트 유실을 방지하기 위해 OutBox 패턴을 적용하여 트랜잭션 단위의 원자성을 보장 할 것이다. 2025. 3. 12. window kafka 설치 방법 & mac에서 kafka 포트번호 바꾸기 $ sudo apt install openjdk-8-jdk --> 이부분만 바꿀 것(jdk 버전 따라서)$ sudo apt install openjdk-17-jdkhttps://blog.voidmainvoid.net/495 windows의 WSL환경에서 아파치 카프카 설치, 실행하는 방법1) git 설치 https://git-scm.com/download/win Git - Downloading Package Download for Windows Click here to download the latest (2.39.2) 32-bit version of Git for Windows. This is the most recent maintained build. It was released 10 days ago.. 2025. 3. 12. [Redis] Redis sentinel 설정 방법..... (for mac) https://jojaeng2.tistory.com/41 [Redis] Redis Sentinel 구성하기[Redis] Redis Sentinel vs Cluster 이전에 나는 면접에서 'Redis를 캐시로 사용했을 때, Redis가 멈출 수도 있는데 어떻게 대처하겠는가?'에 대한 질문을 받은 적이 있었다. 이 질문은 장애 대처 능력에 대해jojaeng2.tistory.com참고 하였구요...순번은 다음과 같습니다. 1. redis 설치brew install redis 2. 다음 경로에서 5개의 설정 파일 만들기/opt/homebrew/Cellar/redis/7.2.7/.bottle/etcredis.conf, redis-slave.conf, redis-sentinel conf를 각각의 설정을 마친 뒤에.. 2025. 2. 14. [Redis] Redis sentinel 설정 방법..... (for windows) redis-sentinel을 고려하게 된 건 고가용성 측면에서 사용하게 하기 위함이다.우선 서두에 말하자면, windows for linux는 더 이상 정식 최신 버전이 나오지 않는다.wsl이나 비공식 포트로 다운 받는 것도 한 방법이다. 하지만 windows로 해보는 것도 경험이니 적어본다.윈도우용 redis-sentinel 설정 1. https://adjin.tistory.com/9 -> 기본적으로 따라하면 됨 sentinel -file(copy 할 것)- >http://download.redis.io/redis-stable/sentinel.conf2. power shell에서 실행할 것 혹은 쓰기 권한 부여 폴더 별3. 주요 설정 제외 다 주석하기.(redis 버전이 legacy 버전..) 4. 경.. 2025. 2. 13. 카프카란..? https://pretty-pilot-212.notion.site/about-kafka-180708535dff80b0a23ce88a83987f79 about kafka | Notion1. 카프카 개요pretty-pilot-212.notion.site추후 수정 완료되면 tistory로 옮기도록 하겠습니다 2025. 1. 20. RAG의 Pipeline을 이해해보자 Rag와 Fine-tuning과의 차이점- Fine-tuning: 데이터를 모델의 파라미터에 내재화(학습)하여 모델이 항상 그 데이터를 기반으로 출력 생성. - RAG: 데이터를 모델에 학습시키지 않고, 요청(Query)에 따라 Vector Store에서 가장 관련성이 높은 데이터를 검색 후 이를 LLM에 입력해 응답 생성. - Data PipeLine에서 1. LangChain이란? llm 활용 가능한 프레임워크 https://www.samsungsds.com/kr/insights/what-is-langchain.html2. Embedding Model이란? Embedding Model은 데이터를 고차원 벡터 공간에 매핑해 표현하는 모델입니다. 주요 목적은 텍스트, 이미지, 코드 등의 데이터를 수치적으.. 2024. 12. 28. 이전 1 2 다음
