본문 바로가기

SingleStoreDB/엔지니어링42

[SingleStore 성능 테스트] MySQL 대비 데이터 로딩 34배, 분석 쿼리 수행 약 370배 이상 성능 극대화 서론 IoT 및 CRM 영역에서 다양한 비즈니스 분석 솔루션을 제공하는 국내 모 기업에서는 MySQL과 Oracle를 사용하여 고객에게 분석 리포트를 제공해 왔습니다. 그러나 많은 고객들이 클라우드와 온프라미스 모든 환경에서 대량의 데이터를 수용하고 이를 실시간으로 분석을 하여 비즈니스에 통찰력을 제공하는데 어려움이 있었습니다. 이로 인해 클라우드 환경에서 대량의 데이터를 실시간으로 로딩하고, 분석 성능을 크게 향상 시켜야 하는 도전 과제로 주어졌습니다. 기존 MySQL 및 Oracle의 대안으로 클라우드 네이티브 DBMS인 SingleStore를 대안 솔루션으로 테스트를 진행하였습니다. 동일한 테스트 환경과 시나리오를 적용하여 어떻게 테스트를 진행했는지 설명을 드리고자 합니다. 또한, SingleSto.. 2020. 6. 18.
성능 개선을 위해 PostgreSQL을 SingleStore로 대체 DEV Community에 처음 등장한 이 블로그 게시물에 대해 Oryan Moshe에게 감사드립니다. 블로그 게시물에서 Oryan은 업데이트와 같은 PostgreSQL의 트랜잭션 데이터를 유지하면서 빠른 쿼리 성능 제공을 위해 SingleStore의 컬럼스토어로 어떻게 전환했는지를 설명합니다. ​ 시스템과 라이선스 확장에 대한 요구 ​ 이것이 어떻게 보일지 생각하지 마십시오 이런 상황이 되면, SingleStore 클러스터를 업그레이드하고 새로운 클러스터 토폴로지에 맞게 라이선스를 1TB 클러스터로 확장해야 합니다. ​ 배경 PostgreSQL에서 쿼리를 수행하는 것은 시간이 갈수록 느려졌습니다. 이에 대한 해결 방안을 찾고 있었습니다. ​ 물론, 올바른 인덱스를 사용하고 쿼리를 최적화하면 속도가 좋아.. 2020. 4. 17.
[AI_ML] 인 메모리 속도로 이미지 인식 ​ SingleStore는 실시간 데이터 웨어하우스(DW)이면서 대규모 운영 분석을 위한 완벽한 시스템입니다. SingleStore는 분석 쿼리에 밀리초 응답 시간을 제공하며 실시간 응용 프로그램의 중요한 경로의 구성으로 활용됩니다. ​ 우리는 고객들로부터 IoT 데이터뿐 아니라 이미지에 대한 다양한 종류의 인공지능(AI)과 기계학습(ML) 모델 평가를 실시간으로 하고 싶다는 말을 자주 듣곤 합니다. ​ 이것의 좋은 예는 큰 이미지 데이터 모음에서 유사한 이미지를 찾아야 하는 경우입니다. 예를 들어, 카메라가 사람을 가리키고 그 사람이 데이터베이스에 있는지 신속하게 확인할 수 있게 하는 것을 실시간 얼굴 인식이라고 합니다. ​ ​ 이미지로부터 피처 벡터(feature Vector)로 ​ 얼굴 인식에서 이.. 2020. 2. 28.
SingleStore 아키텍처: 트랜잭션과 분석의 처리를 위한 혁신 기술 적용 서론 ​ SingleStore는 메모리 내 분산된 관계형 아키텍처를 사용하는 트랜잭션 및 분석을 위한 실시간 데이터베이스입니다. SingleStore는 조직이 데이터에서 더 많은 가치를 더 빨리 추출할 수 있도록 대용량, 고속 빅 데이터 처리를 가능하게 합니다. SingleStore는 데이터 센터 또는 클라우드에 구축된 범용 하드웨어의 단일 데이터베이스에서 동시 트랜잭션 및 분석 워크로드를 지원함으로써 실시간 운영 분석이 가능하게 합니다. ​ 인 메모리 분산 데이터베이스의 필요성 ​ 단일 서버에 있는 기존 데이터베이스의 데이터 볼륨이 너무 크게 증가하고 있습니다. 최신 애플리케이션은 기존 디스크 기반 기술이 허용하는 것보다 더 나은 성능을 필요로 합니다. IT 조직은 이러한 문제를 해결하기 위해 여러 솔.. 2019. 12. 30.
성능과 확장성을 극대화하기 위한 SingleStore의 Skiplist 인덱스 관계형 데이터베이스에서 인덱싱에 사용되는 가장 널리 사용되는 데이터구조는 B-Tree (또는 그 변형인 B+Tree)입니다. B-Tree는 다른 여러 balanced tree들에 비해 조회를 위한 디스크 I/O 작업이 적기 때문에 인기가 높습니다. SingleStore는 상용 관계형 데이터베이스로서 최초로 B-Tree가 아닌 Skiplist를 In-Memory Rowstore데이터의 기본 인덱스 데이터구조(backing-data structure)로 사용합니다. 2011년에 설립된 SingleStore는 In-Memory Rowstore 데이터베이스로 시작되었습니다. SingleStore의 스토리지 설계는 다음 몇 년 동안 디스크 저장소 데이터를 Columnstore 형식으로 지원하도록 발전했습니다. U.. 2019. 12. 27.
SingleStore DB 7.0에서 강화된 시계열 데이터 활용 기능 SingleStore는 데이터를 수집하고, 업데이트하고, 집계 쿼리와 동시에 쿼리하는 실시간 분석에 매우 적합니다. 실시간 분석 활용 사례는 종종 각 개별 이벤트에 타임스탬프가 있는 이벤트 데이터를 기반으로 합니다. 이러한 일련의 이벤트를 시계열로 해석하는 것은 일반적입니다. 7.0 릴리스 이전의 SingleStore에서도 시계열 데이터 관리에 적합한 많은 기능을 다음과 같이 제공했습니다 [Han19]. ● 표준 SQL 인터페이스를 사용하여 트랜잭션 및 분석 워크로드를 지원하는 스케일 아웃, 비공유 아키텍처(Shared Nothing) ● 스케일 아웃과 결합된 컴파일 및 벡터화를 통한 빠른 쿼리 실행 ● 분산 병렬 처리를 지원하는 내장 파이프라인 기능을 통해 데이터를 매우 빠르게 로드하는 기능 ● 비 차.. 2019. 12. 24.
빠른 복제(Replication) – SingleStore DB 7.0의 기록 시스템(SoR) ​ 기록 시스템(System of Record; SoR)은 트랜잭션 데이터베이스의 성배입니다. 회사는 빠르고 효율적인 복원 기능으로 트랜잭션이 완료되고 완료된 트랜잭션을 백업하는 여러 가지 방법이 있는 신뢰할 수 있는 데이터베이스에서 워크로드(Workload)를 실행해야 합니다. SingleStore DB 7.0에는 매우 빠른 동기식 복제를 제공하는 새로운 기능이 포함되어 있어 유연성과 신뢰성이 향상됩니다. 이러한 기능을 통해 SingleStore DB 7.0은 기록 시스템이 필요한 Tier 1 워크로드에 대한 대안을 제공합니다. SingleStore Universal Storage와 트랜잭션과 분석을 동일한 데이터베이스 소프트웨어에서 결합할 수 있는 SingleStore의 기존의 기능과 결합 시 Sin.. 2019. 12. 24.
SingleStore_Forum : 컬럼스토어 테이블 최적화, 50GB 이상의 빅테이블 처리를 빅테이블과 작은 테이블로 나누어 처리 1. 다른 DB의 빅테이블 처리 MS SQL이나 Postgres는 하나의 큰 테이블에서 데이터를 저장하는 대신에 아래와 같이 분리하여 저장 ​ · 100K transactions per table (TABLE_TRANSACTIONS_1000000, TABLE_TRANSACTIONS_2000000) ​ · 분리된 여러 테이블에 존재하는 데이터를 찾고 결과를 도출하기 위해 "UNION"을 사용함 ​ · 하나의 큰 테이블 처리를 위해서는 시스템을 분리해야 함 ​​ 2. SingleStore Forum 질문 SingleStore는 지속적으로 사이즈가 증가하는 하나의 컬럼스토어 테이블(+50GB)에 대해 향후 "JOIN"이나 쿼리를 수행하는 데 성능의 이슈는 없나? ​ 답변 SingleStore는 수조 건의 Ro.. 2019. 10. 4.
예측분석에 기반한 글로벌 공급망 관리를 위한 SingleStore 사물 인터넷(IoT)은 매일 엄청난 양의 데이터를 생성합니다. 이 데이터에 대한 실시간 분석은 오늘날의 상시 경제에서 소비자의 요구를 해결하는 데 도움이 됩니다. ​ 공급망 관리는 IoT가 제조 산업에 미치는 영향을 보여줍니다. 차량, 선적 컨테이너 , 패키지 등 다수의 이동 부품이 데이터 소스로 기능하고 있는 가운데, 기업은 IoT 데이터를 수집하고 분석하기 위한 보다 발전된 방법이 필요합니다. ​ ​ 대부분의 기업은 묘사 분석(Descriptive Analysis)을 사용하지만, Gartner의 위 통계는 묘사 만으로는 더 이상 충분하지 않다고 강조합니다. 데이터 분석은 예측 분석(Predictive Analysis)으로 발전하고 있으며, 결국 이를 훨씬 넘어 처방 분석(Prescriptive Ana.. 2019. 9. 3.

티스토리툴바