Kafka24 SingleStore - Apache Flink를 사용한 실시간 스트리밍 파이프라인 구축 안녕하세요, 에이플랫폼입니다.100ms의 지연 시간마다 매출이 1% 감소한다.- Amazon -https://www.gigaspaces.com/blog/amazon-found-every-100ms-of-latency-cost-them-1-in-sales Amazon found every 100ms of latency cost them 1% in sales.10 years ago, Amazon found that every 100ms of latency cost them 1% in sales. Google found an extra .5 seconds in search page generation time dropped traffic by 20%. A broker could lose $4 million i.. 2025. 4. 7. [Support Bulletin 04] - SingleStore Pipeline을 활용한 고속 CDC 적용 – Kafka Sink Connector의 한계를 넘어서다 안녕하세요, 에이플랫폼의 Support Bulletin 시리즈입니다.오늘은 타 DB에서 SingleStore로 실시간 데이터를 연동하는 방법을 다뤄보겠습니다. 📌개요다양한 CDC(Change Data Capture) 솔루션은 Source Connector로 동작하며, 소스 데이터베이스의 변경 사항을 Kafka Topic으로 Publish할 수 있습니다. 이렇게 전달된 변경 정보는 일반적으로 Kafka Sink Connector를 사용해 타겟 데이터베이스에 적용됩니다.하지만, Kafka Sink Connector는 보통 단일 인스턴스로 동작하기 때문에 운영 시스템에서 병렬로 발생하는 수많은 변경 사항을 SQL을 통해 반영하는 과정에서 성능 저하가 발생할 수 있습니다. 결과적으로 Lag 증가를 피하기 어려.. 2025. 2. 10. [Support Bulletin 03] - Kafka Pipeline 의 zstd 압축 포맷 지원 안녕하세요 에이플랫폼의 Support Bulletin 시리즈 입니다.벌써 세 번째 시간인데요 오늘은 조금은 색다르게 해볼 예정 입니다.앞서 올려드린 Kafka 클러스터와 SingleStore 클러스터 구축 글을 통해직접 따라서 해보실 수 있게끔 준비했습니다.그럼 SingleStore의 기능인 Kafka Pipeline에 대해서 설명 드리겠습니다.📌개요실시간 데이터 스트리밍 플랫폼인 Kafka 는 Topic 에 전달하는 메시지 포맷으로 비압축 일반 데이터를 포함하여 gzip, lz4, snappy, zstd 등 다양한 알고리즘에 의한 압축 형태를 지원합니다.Kafka 토픽에 전달되는 메시지를 실시간으로 테이블에 적재하는 기능인 SingleStore Kafka Pipeline 에서도 별도의 설정 없이 위의.. 2025. 2. 4. 카프카(kafka) 싱글 노드 클러스터 구축 안녕하세요 에이플랫폼 입니다.오늘은 후술할 Kafka 관련 테스트를 하기 위해 카프카 싱글 노드 클러스터를 구축하는 방법을 소개해 드리겠습니다. 📌테스트 환경Virtual Machine을 사용했습니다.OS: Rocky 9.54 CPU / 8 GB RAM간단하게 설치 후 SingleStore Kafka Pipeline 실습을 위한 목적입니다.1. 사전 작업1.1. 필수 종속 패키지 설치JAVA RUNTIIME⚠️ Java 8 이상 버전을 설치해야 합니다.- 확인# 현재 java 설치 전 [jwy@kafka ~]$ java -version -bash: java: command not found- 설치# java 검색 [jwy@kafka ~]$ dnf search java | grep headless Roc.. 2025. 2. 3. [사례 연구, 하이테크] 주요 기술 서비스 기업의 Kafka 및 AI로의 이동 주요 기술 서비스 기업은 디지털 시대에 경쟁하기 위해 어떻게 준비하고 있습니까? 그리고, 고객의 비즈니스 전망을 크게 향상시킬 수 있는 탁월한 서비스를 제공합니까? 동시에, 복잡성을 줄이고 비용을 절감하며, 경우에 따라 SLA를 10배 이상 강화할 수 있습니까? 이러한 기업의 경우 해결책은 Kafka 및 SingleStore를 사용하여 실시간 운영 분석을 제공하는 것입니다. 이 기업에서는 데이터가 여러 데이터 저장소를 통과하고 관계형 SQL 데이터베이스에서 배치 쿼리 처리를 위해 NoSQL 데이터 저장소로 이동하고, BI, 앱 및 애드혹 쿼리를 위해 다시 SQL로 이동되었습니다. 이제 데이터는 Kafka를 통해 바로 SingleStore로 흐릅니다. Airflow는 오케스트레이션을 제공합니다. Bef.. 2021. 8. 30. [사례 연구, IEX Cloud] 일 25억건의 API 요청을 평균 8ms로 응답 기존 "금융 데이터 제공" 서비스들은 현대 기술을 감안하여 구축되지 않았습니다. 그것들은 혁신적인 금융 애플리케이션을 지원하는 데 필요한 규모와 속도를 따라가지 못합니다. 너무 비싸고 제한적이며 복잡한 솔루션으로 인해 소규모 개발사는 시장에서 소외되고 있습니다. 금융 산업은 기술 현대화와 관련하여 다른 시장에 오랫동안 뒤쳐져 왔습니다. 팬데믹 이전에는 금융 서비스 조직의 55% 만이 디지털 혁신 계획을 구현하기 위한 조치를 취했습니다. 팬데믹은 많은 기업의 프로세스를 가속화하는 데 도움이 되었지만 여전히 레거시 시스템과 비효율적인 운영과 씨름해야 했습니다. IEX 그룹의 IEX Cloud는 모든 사람이 양질의 금융 데이터와 서비스에 엑세스할 수 있도록 하는 혁신적인 금융 데이터 제공 플랫폼으로 이 문.. 2021. 8. 23. [사례 연구, 금융] SingleStore와 Kafka를 통한 위험 관리 성능 개선 위험 관리는 금융 세계 전체에서 매우 중요한 업무이며(다른 분야에서도 점점 더 많이) 은행, 투자자, 보험사 및 기타 금융 기관의 IT팀에게 중요한 투자 영역입니다. SingleStore는 위험 관리, 의사 결정 응용 프로그램 및 분석뿐 아니라 이상거래 탐지 및 자산 관리와 같은 관련 영역을 지원하는 데 매우 적합한 것으로 입증되었습니다. 이 사례 연구에서는 한 주요 금융 서비스 제공업체가 Oracle을 SingleStore와 Kafka로 교체하여 위험 관리 의사 결정의 성능과 개발 용이성을 어떻게 개선하였는지 살펴보겠습니다. 또한 다른 유사한 SingleStore 구현에서 배운 몇 가지 교훈도 포함하겠습니다. Oracle 기반 데이터 웨어하우스의 문제점 우리와 협력하는 많은 금융 서비스 기관에서 트.. 2021. 8. 10. [사례 연구, Teespring] 실시간 분석을 통해 전자상거래 플랫폼 개선 티스프링(Teespring) 소개 티스프링은 기업가들이 전자상거래 플랫폼을 통해 브랜드를 구축하고 성장시킬 기회를 주므로써 소매업계에 혁명을 일으키고 있습니다. 티스프링은 모든 사람들이 좋아하는 고품질의 제품을 비용이나 위험 부담없이 쉽게 제작하고 판매할 수 있게 해줍니다. 티스프링은 2012년부터 전 세계에 1,500만 개 이상의 제품을 수출했습니다. 구매자 활동 실시간 분석 티스프링은 빠른 속도로 커뮤니티를 성장시키고 있었습니다. 이러한 성장을 가속화하기 위해 그들은 공급 업체를 적절한 구매자와 실시간으로 연결하기를 원했습니다. 티스프링은 구매자의 활동을 분석함으로써 구매자의 참여를 최적화하고, 사이트에서 구매를 유도하게하므로써 판매자 커뮤니티가 실시간 정보에 따라 결정을 내리록 도움을 줄 수 있습니.. 2021. 1. 12. Business wire - SingleStore & AWS 의 협업확장소식 샌프란시스코 2020년 7월 15일자 운영분석과 클라우드 네이티브 RDBMS인 SingleStore는 AWS와의 협업을 확대했으며, 워크로드 마이그레이션 프로그램(WMP)에 AWS ISV(independent software vendor)로 조인했다. 이 프로그램에 조인함으로써 APN(AWS Partners Network)의 기술과 컨설팅 파트너로서 마이그레이션 프로세스에 참여하게 되며, SingleStore는 고객들로 하여금 운영분석을 위한 클라우드로의 이전을 가속화하게 될 것이다. 금융서비스, 제조 그리고 통신공간에서의 비즈니스는 계속적으로 검증되고 혁신적인 파트너들을 찾고 있는데 그 것은 바로 클라우드의 확장성과 편의성으로 시간을 줄여 인사이트를 찾는 그것이다. -바로 더 빠른 의사결정- 모든 조직.. 2020. 8. 5. 이전 1 2 3 다음
