Pipeline12 [Support Bulletin 04] - SingleStore Pipeline을 활용한 고속 CDC 적용 – Kafka Sink Connector의 한계를 넘어서다 안녕하세요, 에이플랫폼의 Support Bulletin 시리즈입니다.오늘은 타 DB에서 SingleStore로 실시간 데이터를 연동하는 방법을 다뤄보겠습니다. 📌개요다양한 CDC(Change Data Capture) 솔루션은 Source Connector로 동작하며, 소스 데이터베이스의 변경 사항을 Kafka Topic으로 Publish할 수 있습니다. 이렇게 전달된 변경 정보는 일반적으로 Kafka Sink Connector를 사용해 타겟 데이터베이스에 적용됩니다.하지만, Kafka Sink Connector는 보통 단일 인스턴스로 동작하기 때문에 운영 시스템에서 병렬로 발생하는 수많은 변경 사항을 SQL을 통해 반영하는 과정에서 성능 저하가 발생할 수 있습니다. 결과적으로 Lag 증가를 피하기 어려.. 2025. 2. 10. [Support Bulletin 03] - Kafka Pipeline 의 zstd 압축 포맷 지원 안녕하세요 에이플랫폼의 Support Bulletin 시리즈 입니다.벌써 세 번째 시간인데요 오늘은 조금은 색다르게 해볼 예정 입니다.앞서 올려드린 Kafka 클러스터와 SingleStore 클러스터 구축 글을 통해직접 따라서 해보실 수 있게끔 준비했습니다.그럼 SingleStore의 기능인 Kafka Pipeline에 대해서 설명 드리겠습니다.📌개요실시간 데이터 스트리밍 플랫폼인 Kafka 는 Topic 에 전달하는 메시지 포맷으로 비압축 일반 데이터를 포함하여 gzip, lz4, snappy, zstd 등 다양한 알고리즘에 의한 압축 형태를 지원합니다.Kafka 토픽에 전달되는 메시지를 실시간으로 테이블에 적재하는 기능인 SingleStore Kafka Pipeline 에서도 별도의 설정 없이 위의.. 2025. 2. 4. [사례 연구, 하이테크] 주요 기술 서비스 기업의 Kafka 및 AI로의 이동 주요 기술 서비스 기업은 디지털 시대에 경쟁하기 위해 어떻게 준비하고 있습니까? 그리고, 고객의 비즈니스 전망을 크게 향상시킬 수 있는 탁월한 서비스를 제공합니까? 동시에, 복잡성을 줄이고 비용을 절감하며, 경우에 따라 SLA를 10배 이상 강화할 수 있습니까? 이러한 기업의 경우 해결책은 Kafka 및 SingleStore를 사용하여 실시간 운영 분석을 제공하는 것입니다. 이 기업에서는 데이터가 여러 데이터 저장소를 통과하고 관계형 SQL 데이터베이스에서 배치 쿼리 처리를 위해 NoSQL 데이터 저장소로 이동하고, BI, 앱 및 애드혹 쿼리를 위해 다시 SQL로 이동되었습니다. 이제 데이터는 Kafka를 통해 바로 SingleStore로 흐릅니다. Airflow는 오케스트레이션을 제공합니다. Bef.. 2021. 8. 30. [사례 연구, CME] 시카고 상업거래소를 역설계한 방법 거래소는 우리 경제 시스템의 핵심입니다. 베니스의 리알토(Rialto, 14세기), 터키의 그랜드 바자르(Grand Bazaar, 17세기), 네덜란드의 암스테르담 증권거래소(Amsterdam Bourse, 17세기), 뉴욕 증권거래소(NYSE; New York Stock Exchange, 20세기)에서 시장은 의도적으로 상품과 서비스의 구매자와 판매자가 만나 거래합니다. 이 블로그 게시물에서는 SingleStore를 핵심으로 하여 거래소를 구축한 방법을 설명합니다. 컴퓨터가 발명되고 인터넷이 널리 보급된 후 시장은 온라인이 되었습니다. 네덜란드 동인도 제도(오늘날의 인도네시아)의 향신료 상인이 약 한 달 동안 걸리던 매매는 암스테르담 증권 거래소에서 제공하는 가격 매칭을 통해 이제는 자동화된 컴퓨터 거.. 2021. 8. 24. [사례 연구, 금융] 머신러닝기반 실시간 이상거래 탐지(미국 메이저 은행) 이 사례 연구는 SingleStore의 제품 마케팅 수석 이사인 Mike Boyarski가 웨비나 세션의 일부로 발표했습니다. Mike는 웨비나를 통해 수십 년 동안 축적된 기술 솔루션을 보유하고 있으며 오늘날의 요구 사항을 충족시키기 위해 인프라를 즉시 발전시켜야 하는 금융 서비스 기관이 직면한 과제에 대해 설명합니다. 웨비나에서도 설명되고 있습니다만, Mike는 주요 미국 은행이 SingleStore를 핵심으로 하는 새로운 스트리밍 데이터 아키텍처를 어떻게 작성했는지를 보여줍니다. SingleStore를 사용하여 이들은 머신러링 모델을 실시간으로 적용하면서 하룻밤 사이에 이루어지는 배치 이상거래 탐지 방식에서 "on the swipe"(실시간) 이상거래 탐지 방식으로 전환할 수 있었습니다. 그는 .. 2021. 8. 10. [사례 연구, 금융] SingleStore와 Kafka를 통한 위험 관리 성능 개선 위험 관리는 금융 세계 전체에서 매우 중요한 업무이며(다른 분야에서도 점점 더 많이) 은행, 투자자, 보험사 및 기타 금융 기관의 IT팀에게 중요한 투자 영역입니다. SingleStore는 위험 관리, 의사 결정 응용 프로그램 및 분석뿐 아니라 이상거래 탐지 및 자산 관리와 같은 관련 영역을 지원하는 데 매우 적합한 것으로 입증되었습니다. 이 사례 연구에서는 한 주요 금융 서비스 제공업체가 Oracle을 SingleStore와 Kafka로 교체하여 위험 관리 의사 결정의 성능과 개발 용이성을 어떻게 개선하였는지 살펴보겠습니다. 또한 다른 유사한 SingleStore 구현에서 배운 몇 가지 교훈도 포함하겠습니다. Oracle 기반 데이터 웨어하우스의 문제점 우리와 협력하는 많은 금융 서비스 기관에서 트.. 2021. 8. 10. 실시간 시스템 구현을 위한 SingleStore SingleStore를 통한 실시간 시스템 활용 사례 실시간 애플리케이션과 분석이 마이크로 초 단위로 응대를 해야 한다는 것은 모두가 알고 있습니다. 하지만 실시간 시스템은 최근까지 주목 받기 어려웠습니다. “SingleStore”의 도래로 더 많은 조직과 애플리케이션에 개방된 완전히 새로운 실시간 분석 사례들이 나오고 있습니다. 이 블로그는 몇몇 새로운 활용 방안과 사례를 조사해서 여러분들에게 향후 적용 가능한 아이디어를 제공하고자 합니다. 이 성공적인 활용 사례 리스트들은 실시간 대시보드와 분석에 상당한 이점을 제공한다는 점에서 다양한 영감을 줄 수 있을 것입니다. 과거 실시간 시스템 적용 분야의 한계 실시간 컴퓨팅은 운영체제에서 시작되었고, 그 후 실시간을 위한 특별한 소프트웨어 비용으로 인해 .. 2020. 12. 10. [사례 연구, Thorn] 더 빠른 인신매매 아동 식별을 위해 SingleStore Managed Service(Helios)로 데이터 구축 Thorn의 아동 성매매 조사 도구인 Spotlight는 성매매 사이트에서 정보를 수집하여 인신 매매 피해자를 빨리 찾을 수 있는 도구를 법 집행 기관에 제공합니다. (위스콘신 인신 매매 전담반 특별 요원은 스포트라이트를 다음과 같이 설명합니다. “인신 매매와의 싸움에서 우리가 가지고 있는 가장 큰 도구입니다.”) SingleStore를 사용하는 것이 그 중 하나입니다. SingleStore는 SQL 지원을 포함하여 Thorn의 요구 사항인 빠른 쿼리 응답 시간; 기계 학습 및 AI 지원; 크고 확장 가능한 동시 사용자 수; 수평적 스케일 아웃을 충족시키는 강력한 솔루션입니다. 또한 SingleStore는 온프레미스 설치 및 모든 주요 퍼블릭 클라우드를 포함하여 거의 모든 곳에서 실행됩니다. Thor.. 2020. 5. 26. [사례 연구, True Digital Group] COVID-19 감염자 증가 속도를 늦추기 위해 SingleStore 사용 True Digital Group은 접촉자 추적 조사 앱에 SingleStore를 사용하여, 태국에서 COVID-19의 확산을 막고 있습니다. (보도 자료 참고) 이 앱은 프론트엔드에서 React와 Web Workers를 사용하며, SingleStore 파이프라인과 시계열 함수로 이벤트를 빠르게 수집 처리하고, 지리공간(geospatial) 함수는 지도에 데이터를 실시간으로 표시하는데 사용이 됩니다. 이 앱의 첫번째 버전은 2주 만에 만들어졌습니다. 세계적 이동 제재(Global Lockdown) 대유행(팬데믹, pandemic)하는 COVID-19 질병의 확산을 막는 것이 우리의 공동 우선 순위였습니다. 여행, 쇼핑, 친목회와 같은 불필요한 행동들을 피함으로써, 우리는 우리 자신을 안전하게 지키고,.. 2020. 5. 15. 이전 1 2 다음
