본문 바로가기

SingleStoreDB93

[사례 연구, SME] Singlestore에서 운영 분석, 데이터 웨어하우스(DW)와 데이터 레이크(Data Lake)의 빠른 요구 사항 처리 SME 사의 고객사인 미국의 한 유틸리티 회사는 200만 계량기로 구성된 새로운 계량기 네트워크를 설치하여 이전 계량기 네트워크보다 훨씬 더 많은 데이터를 생성하고 있었습니다. 인입되는 데이터의 양과 리포팅 요구가 기존 하둡 기반의 복잡한 솔루션으로 수용이 어려웠습니다. 10개의 서로 다른 데이터 처리 구성 요소를 단일 SingleStore 클러스터로 교체하였고, 그 결과 뛰어난 성능, 향후 요구 사항에 맞는 확장성, SQL을 통한 표준 BI 툴 사용과 비용 효율성을 경험하였습니다. SME의 솔루션 엔지니어인 조지 배럿(George Barrett)은 “SingleStore는 스위스 군용 칼(Swiss Army Knife)과 같습니다. 단일 데이터베이스에서 운영 분석, 데이터웨어하우스(DW)와 데이터 레이.. 2020. 1. 26.
[사례 연구, PandoraTV] 수 천억 행의 쿼리를 위한 실시간 대쉬보드 구축 ​ 개요 ​2016년에는 특정 비즈니스 문제를 해결하기 위한 데이터 저장소와 기반 기술로 SingleStore를 선택했습니다. 이 포스트에서 다음을 내용을 보고자 합니다. 비즈니스 문제 기존 시스템 비즈니스 및 기술 요구 사항 검토 대상 솔루션 SingleStore 개요 SingleStore 구현 방법 데이터 전략: 컬럼스토어 vs. 로우스토어 하드웨어 세부 정보 다양한 학습 경험 요약 비즈니스 문제 ​해결책을 찾는 첫 번째 단계는 문제를 명확하게 정의하는 것입니다. 그 문제를 해결할 수 있는 방법을 찾는 것이 아니라, 그 문제를 해결할 수 있는 가장 좋은 방법을 찾는 것이 목표였습니다. 우리가 해결하려고 했던 것은 광고 판매 팀이 현재 광고 캠페인과 이전 광고 캠페인에 대한 데이터를 볼 수 있게 대쉬보.. 2020. 1. 8.
SingleStore 아키텍처: 트랜잭션과 분석의 처리를 위한 혁신 기술 적용 서론 ​ SingleStore는 메모리 내 분산된 관계형 아키텍처를 사용하는 트랜잭션 및 분석을 위한 실시간 데이터베이스입니다. SingleStore는 조직이 데이터에서 더 많은 가치를 더 빨리 추출할 수 있도록 대용량, 고속 빅 데이터 처리를 가능하게 합니다. SingleStore는 데이터 센터 또는 클라우드에 구축된 범용 하드웨어의 단일 데이터베이스에서 동시 트랜잭션 및 분석 워크로드를 지원함으로써 실시간 운영 분석이 가능하게 합니다. ​ 인 메모리 분산 데이터베이스의 필요성 ​ 단일 서버에 있는 기존 데이터베이스의 데이터 볼륨이 너무 크게 증가하고 있습니다. 최신 애플리케이션은 기존 디스크 기반 기술이 허용하는 것보다 더 나은 성능을 필요로 합니다. IT 조직은 이러한 문제를 해결하기 위해 여러 솔.. 2019. 12. 30.
성능과 확장성을 극대화하기 위한 SingleStore의 Skiplist 인덱스 관계형 데이터베이스에서 인덱싱에 사용되는 가장 널리 사용되는 데이터구조는 B-Tree (또는 그 변형인 B+Tree)입니다. B-Tree는 다른 여러 balanced tree들에 비해 조회를 위한 디스크 I/O 작업이 적기 때문에 인기가 높습니다. SingleStore는 상용 관계형 데이터베이스로서 최초로 B-Tree가 아닌 Skiplist를 In-Memory Rowstore데이터의 기본 인덱스 데이터구조(backing-data structure)로 사용합니다. 2011년에 설립된 SingleStore는 In-Memory Rowstore 데이터베이스로 시작되었습니다. SingleStore의 스토리지 설계는 다음 몇 년 동안 디스크 저장소 데이터를 Columnstore 형식으로 지원하도록 발전했습니다. U.. 2019. 12. 27.
SingleStore DB 7.0에서 강화된 시계열 데이터 활용 기능 SingleStore는 데이터를 수집하고, 업데이트하고, 집계 쿼리와 동시에 쿼리하는 실시간 분석에 매우 적합니다. 실시간 분석 활용 사례는 종종 각 개별 이벤트에 타임스탬프가 있는 이벤트 데이터를 기반으로 합니다. 이러한 일련의 이벤트를 시계열로 해석하는 것은 일반적입니다. 7.0 릴리스 이전의 SingleStore에서도 시계열 데이터 관리에 적합한 많은 기능을 다음과 같이 제공했습니다 [Han19]. ● 표준 SQL 인터페이스를 사용하여 트랜잭션 및 분석 워크로드를 지원하는 스케일 아웃, 비공유 아키텍처(Shared Nothing) ● 스케일 아웃과 결합된 컴파일 및 벡터화를 통한 빠른 쿼리 실행 ● 분산 병렬 처리를 지원하는 내장 파이프라인 기능을 통해 데이터를 매우 빠르게 로드하는 기능 ● 비 차.. 2019. 12. 24.
빠른 복제(Replication) – SingleStore DB 7.0의 기록 시스템(SoR) ​ 기록 시스템(System of Record; SoR)은 트랜잭션 데이터베이스의 성배입니다. 회사는 빠르고 효율적인 복원 기능으로 트랜잭션이 완료되고 완료된 트랜잭션을 백업하는 여러 가지 방법이 있는 신뢰할 수 있는 데이터베이스에서 워크로드(Workload)를 실행해야 합니다. SingleStore DB 7.0에는 매우 빠른 동기식 복제를 제공하는 새로운 기능이 포함되어 있어 유연성과 신뢰성이 향상됩니다. 이러한 기능을 통해 SingleStore DB 7.0은 기록 시스템이 필요한 Tier 1 워크로드에 대한 대안을 제공합니다. SingleStore Universal Storage와 트랜잭션과 분석을 동일한 데이터베이스 소프트웨어에서 결합할 수 있는 SingleStore의 기존의 기능과 결합 시 Sin.. 2019. 12. 24.
[사례 연구, Dzone] 시계열, 실시간 및 그 이상을 위한 SingleStore 먼저, 이 게시물은 Eric Hanson이 개발자 웹 사이트인 DZone에 게시한 시계열 데이터에 대한 Webinar 내용이 정리되었습니다. SingleStore의 Eric Hanson은 수십 년의 경험이 있는 수석 데이터 전문가입니다. Eric은 과거 기존 데이터베이스의 한계를 확장 가능한 SQL로 어떻게 해결할 수 있는지에 대한 설계 관점을 제공합니다. 또한, SingleStore에서 ANSI SQL 트랜잭션에 영향을 주지 않으면서 시계열 및 빅데이터 분석 워크로드를 처리하는 방법을 보여줍니다. 링크를 통해 DZone에 게시된 Webinar를 보실 수 있습니다. ​ ​시계열 데이터는 기업이 보유한 데이터와 향후 얻을 수 있는 데이터에서 더 많은 가치를 얻고자 함에 따라 점점 더 많은 관심을 끌고 있습.. 2019. 12. 6.
대용량 및 다차원 이미지 데이터를 SingleStore의 고성능 벡터 연산 함수로 처리하기 SingleStore의 고성능 벡터 연산을 위한 함수들 ​ SingleStore 벡터 함수(Vector Functions) ​ SingleStore는 두 벡터에 대한 유사율을 확인하기 위한 벡터함수를 제공합니다. DOT_PRODUCT 와 EUCLIDEAN_DISTANCE입니다. 이 두 벡터함수는 고속 고성능의 SIMD(Single-Instruction, Multiple-Data)를 구현하므로 하드웨어가 AVX2 명령어를 지원해야 합니다. ​ ​ ​ 또한 벡터함수에 올바른 형식의 벡터를 Insert 하기 위한 내장 함수도 지원합니다. 두 벡터에 대해서는 VECTOR_SUB 내장 함수를 지원하며 부동 소수점 숫자와 배열에 대해서는 JSON_ARRAY_PACK 내장 함수를 사용하여 쉽게 벡터로의 변환을 도와줍.. 2019. 11. 18.
[사례 연구, Fanatics] 느리고 복잡한 NoSQL들을 표준 SQL기반의 SingleStore로 전환하여 실시간 분석 경쟁력 확보 데이터에서 통찰력을 얻는 것은 더 이상 무시할 수 없는 경쟁 우위 요소입니다. 하지만 많은 기업들이 대규모의 데이터를 염두하지 않은 전통적인 데이터 기술에 기반하여 시스템을 구축했기 때문에 데이터를 최대한 활용하기가 어렵다는 것을 인식하고 있습니다. 기존의 SQL 기반 데이터베이스는 거의 모든 워크로드를 처리할 수 있었지만 그 워크로드들은 단일 노드 시스템에 적합했습니다. 이에 실시간 분석을 위해 증가하는 데이터 수요를 처리하기 위해 확장해야 하는 경우 데이터 인프라에 용도에 맞는 수많은 NoSQL 솔루션들을 도입해야 했습니다. 아래는 그림은 대표적인 데이터 아키텍처입니다. 오늘날 많은 기업들도 이와 유사한 복잡한 데이터 인프라를 다루고 있을 것입니다. 이보다 더 나은 방법으로 전 세계적으로 빠르게 성장.. 2019. 10. 16.

티스토리툴바