columnstore7 SingleStoreDB 성능 이야기 SingleStoreDB 를 처음 사용하게 되면서 가장 먼저 들었던 생각은 “아! 빠르다” 입니다. Oracle, MySQL, PostgreSQL 등 내노라 하는 RDBMS 에서도 왠만큼 큰 장비가 아니면 느낄 수 없는 “빠름”을 SingleStoreDB 는 그저 보통의 컴퓨팅 파워를 가지고 있는 작은 시스템에서도 쉽게 확인할 수 있습니다. 그 이유가 무엇일까요? 첫번째로 SingleStoreDB 는 Shared Nothing 구조의 분산(Distributed) DB 이기 때문입니다. SingleStoreDB Cluster 에서 Leaf 노드들이 실제적인 데이터를 나누어 저장하고 있습니다. 만일 Leaf 노드가 4대라면 각각 1/4 씩의 데이터를 균등 배분하여 저장하고 있는 셈이죠. NoSQL 의 샤딩(.. 2023. 8. 31. [사례 연구, 하이테크] 주요 기술 서비스 기업의 Kafka 및 AI로의 이동 주요 기술 서비스 기업은 디지털 시대에 경쟁하기 위해 어떻게 준비하고 있습니까? 그리고, 고객의 비즈니스 전망을 크게 향상시킬 수 있는 탁월한 서비스를 제공합니까? 동시에, 복잡성을 줄이고 비용을 절감하며, 경우에 따라 SLA를 10배 이상 강화할 수 있습니까? 이러한 기업의 경우 해결책은 Kafka 및 SingleStore를 사용하여 실시간 운영 분석을 제공하는 것입니다. 이 기업에서는 데이터가 여러 데이터 저장소를 통과하고 관계형 SQL 데이터베이스에서 배치 쿼리 처리를 위해 NoSQL 데이터 저장소로 이동하고, BI, 앱 및 애드혹 쿼리를 위해 다시 SQL로 이동되었습니다. 이제 데이터는 Kafka를 통해 바로 SingleStore로 흐릅니다. Airflow는 오케스트레이션을 제공합니다. Bef.. 2021. 8. 30. [사례 연구, 에너지] 업계 최고의 가스 및 전력 유틸리티 기업의 스마트 미터 데이터 관리 스마트 가스 및 전력 계량기는 엄청난 양의 데이터를 생성합니다. 5개의 노드로 구성된 소규모의 SingleStore 클러스터로 업계 최고의 가스 및 전력 유틸리티 기업의 방대한 양의 데이터를 쉽게 처리할 수 있습니다. 한 특정 사용 사례에서, 초당 200,000대 이상의 계랑기의 데이터가 SingleStore 데이터베이스에 로드되는 동안, 사용자는 동시에 해당 데이터에 대한 쿼리를 처리할 수 있었습니다. 수백만 대의 계량기에서는 매시간 10~30개의 센서 판독값을 전송하여, 수십억 행의 데이터를 생성합니다. 연초에만 720억 건 이상의 계량기 측정이 있었으며, 이는 최대 6TB의 원시 데이터를 측정하는 거였습니다. SingleStore는 이 데이터를 10배 압축하고 디스크의 저장 공간을 624GB까지.. 2021. 8. 20. [사례 연구, Infiswift] IoT와 AI 애플리케이션의 분석 기능을 강화한 방법 Infiswift는 주로 IoT(Internet of Things) 배포를 통해, AI를 사용하여 실제 문제를 해결합니다. IoT는 인터넷 연결과 데이터 공유를 통해, 물리적 디바이스의 작동을 최적화합니다. Infiswift의 혁신적인 플랫폼을 사용하면, 규모에 상관없이 엔드포인트(endpoint)에 손쉽게 보안 연결과 관리가 가능하며, 새로운 서비스를 시작하거나 기존 서비스를 개선하는 솔루션을 구축할 수 있습니다. Infiswift는 고객이 재생 에너지, 농업, 제조와 같은 산업에서 데이터 중심적(data-driven) 의사결정을 할 수 있도록 지원합니다. Infiswift는 빠르고 안정적인 분석을 제공하고 지속적으로 업데이트되는 기계 학습(ML) 모델을 지원하기 위해, SingleStore를 Infi.. 2021. 8. 20. [SingleStore 성능 테스트] MySQL 대비 데이터 로딩 34배, 분석 쿼리 수행 약 370배 이상 성능 극대화 서론 IoT 및 CRM 영역에서 다양한 비즈니스 분석 솔루션을 제공하는 국내 모 기업에서는 MySQL과 Oracle를 사용하여 고객에게 분석 리포트를 제공해 왔습니다. 그러나 많은 고객들이 클라우드와 온프라미스 모든 환경에서 대량의 데이터를 수용하고 이를 실시간으로 분석을 하여 비즈니스에 통찰력을 제공하는데 어려움이 있었습니다. 이로 인해 클라우드 환경에서 대량의 데이터를 실시간으로 로딩하고, 분석 성능을 크게 향상 시켜야 하는 도전 과제로 주어졌습니다. 기존 MySQL 및 Oracle의 대안으로 클라우드 네이티브 DBMS인 SingleStore를 대안 솔루션으로 테스트를 진행하였습니다. 동일한 테스트 환경과 시나리오를 적용하여 어떻게 테스트를 진행했는지 설명을 드리고자 합니다. 또한, SingleSto.. 2020. 6. 18. 성능 개선을 위해 PostgreSQL을 SingleStore로 대체 DEV Community에 처음 등장한 이 블로그 게시물에 대해 Oryan Moshe에게 감사드립니다. 블로그 게시물에서 Oryan은 업데이트와 같은 PostgreSQL의 트랜잭션 데이터를 유지하면서 빠른 쿼리 성능 제공을 위해 SingleStore의 컬럼스토어로 어떻게 전환했는지를 설명합니다. 시스템과 라이선스 확장에 대한 요구 이것이 어떻게 보일지 생각하지 마십시오 이런 상황이 되면, SingleStore 클러스터를 업그레이드하고 새로운 클러스터 토폴로지에 맞게 라이선스를 1TB 클러스터로 확장해야 합니다. 배경 PostgreSQL에서 쿼리를 수행하는 것은 시간이 갈수록 느려졌습니다. 이에 대한 해결 방안을 찾고 있었습니다. 물론, 올바른 인덱스를 사용하고 쿼리를 최적화하면 속도가 좋아.. 2020. 4. 17. SingleStore_Forum : 컬럼스토어 테이블 최적화, 50GB 이상의 빅테이블 처리를 빅테이블과 작은 테이블로 나누어 처리 1. 다른 DB의 빅테이블 처리 MS SQL이나 Postgres는 하나의 큰 테이블에서 데이터를 저장하는 대신에 아래와 같이 분리하여 저장 · 100K transactions per table (TABLE_TRANSACTIONS_1000000, TABLE_TRANSACTIONS_2000000) · 분리된 여러 테이블에 존재하는 데이터를 찾고 결과를 도출하기 위해 "UNION"을 사용함 · 하나의 큰 테이블 처리를 위해서는 시스템을 분리해야 함 2. SingleStore Forum 질문 SingleStore는 지속적으로 사이즈가 증가하는 하나의 컬럼스토어 테이블(+50GB)에 대해 향후 "JOIN"이나 쿼리를 수행하는 데 성능의 이슈는 없나? 답변 SingleStore는 수조 건의 Ro.. 2019. 10. 4. 이전 1 다음
