CDC2 [Support Bulletin 04] - SingleStore Pipeline을 활용한 고속 CDC 적용 – Kafka Sink Connector의 한계를 넘어서다 안녕하세요, 에이플랫폼의 Support Bulletin 시리즈입니다.오늘은 타 DB에서 SingleStore로 실시간 데이터를 연동하는 방법을 다뤄보겠습니다. 📌개요다양한 CDC(Change Data Capture) 솔루션은 Source Connector로 동작하며, 소스 데이터베이스의 변경 사항을 Kafka Topic으로 Publish할 수 있습니다. 이렇게 전달된 변경 정보는 일반적으로 Kafka Sink Connector를 사용해 타겟 데이터베이스에 적용됩니다.하지만, Kafka Sink Connector는 보통 단일 인스턴스로 동작하기 때문에 운영 시스템에서 병렬로 발생하는 수많은 변경 사항을 SQL을 통해 반영하는 과정에서 성능 저하가 발생할 수 있습니다. 결과적으로 Lag 증가를 피하기 어려.. 2025. 2. 10. Webinar: Kafka와 SingleStore가 지능형 실시간 애플리케이션을 제공하는 방법 Apache Kafka와 SingleStore를 함께 사용하면 지능형 실시간 애플리케이션을 생성하고 제공하는 것이 훨씬 쉬워집니다. 이 웨비나에서, SingleStore의 알렉 파월은 Kafka와 SingleStore가 각 테이블에 가져오는 밸류에 대해 논의했고, 공통의 데이터 관리 문제를 해결하기 위한 레퍼런스 아키텍처를 보여주었으며, Kafka와 SingleStore를 가지고 실시간 데이터 파이프라인을 구현하는 방법을 시연했습니다. Kafka는 공개 구독 모델에서 작동하는 오픈 소스 메시징 큐입니다. SingleStore와 같이 분산형 구조이고 내구성을 제공합니다. Kafka는 조직 전체의 데이터에 대한 사실의 출처(a source of truth)이 될 수 있습니다. 엔터프라이즈 IT를 위한 K.. 2019. 8. 8. 이전 1 다음
