컬럼스토어12 SingleStoreDB 성능 이야기 SingleStoreDB 를 처음 사용하게 되면서 가장 먼저 들었던 생각은 “아! 빠르다” 입니다. Oracle, MySQL, PostgreSQL 등 내노라 하는 RDBMS 에서도 왠만큼 큰 장비가 아니면 느낄 수 없는 “빠름”을 SingleStoreDB 는 그저 보통의 컴퓨팅 파워를 가지고 있는 작은 시스템에서도 쉽게 확인할 수 있습니다. 그 이유가 무엇일까요? 첫번째로 SingleStoreDB 는 Shared Nothing 구조의 분산(Distributed) DB 이기 때문입니다. SingleStoreDB Cluster 에서 Leaf 노드들이 실제적인 데이터를 나누어 저장하고 있습니다. 만일 Leaf 노드가 4대라면 각각 1/4 씩의 데이터를 균등 배분하여 저장하고 있는 셈이죠. NoSQL 의 샤딩(.. 2023. 8. 31. [사례 연구, DailyVest] 401(k) 구축 및 애플리케이션 성능 30% 향상 401(k)과 같은 세금 혜택이 있는 퇴직적금 플랜은 일반적으로 직원을 위한 직업 혜택으로 제공됩니다. 고용주는 플랜을 후원하고 참여를 장려하기 위해 기부금 매칭과 같은 인센티브를 제공할 수 있습니다. 이러한 플랜은 인재를 유치하고 유지하는 데 중요한 도구로 작용하지만 성과가 좋은 경우에만 가능합니다. * 401(k): 미국에서 퇴직연금을 뜻하는 용어이다. 미국의 내국세입법(Internal Revenue Code) 401조 k항에 직장가입 연금이 규정되어 있기에 이와 같이 불린다. 이러한 플랜에 대한 일반적인 계좌 액세스 웹사이트에는 오래된 툴과 기술이 있으며 개인 및 회사 차원의 플랜 성과에 대한 통찰력이 부족합니다. 이러한 경험은 플랜 상태가 좋지 않고 플랜 참여가 부족하며 퇴직 준비가 되지 않은 직.. 2021. 8. 24. 성능 개선을 위해 PostgreSQL을 SingleStore로 대체 DEV Community에 처음 등장한 이 블로그 게시물에 대해 Oryan Moshe에게 감사드립니다. 블로그 게시물에서 Oryan은 업데이트와 같은 PostgreSQL의 트랜잭션 데이터를 유지하면서 빠른 쿼리 성능 제공을 위해 SingleStore의 컬럼스토어로 어떻게 전환했는지를 설명합니다. 시스템과 라이선스 확장에 대한 요구 이것이 어떻게 보일지 생각하지 마십시오 이런 상황이 되면, SingleStore 클러스터를 업그레이드하고 새로운 클러스터 토폴로지에 맞게 라이선스를 1TB 클러스터로 확장해야 합니다. 배경 PostgreSQL에서 쿼리를 수행하는 것은 시간이 갈수록 느려졌습니다. 이에 대한 해결 방안을 찾고 있었습니다. 물론, 올바른 인덱스를 사용하고 쿼리를 최적화하면 속도가 좋아.. 2020. 4. 17. [사례 연구, SSIMWAVE] 비디오 품질 분석에 확장성과 고성능을 위해 SingleStore 활용 영화 제작자, 네트워크 엔지니어, 미디어 비즈니스 경영진에 이르기까지 SSIMWAVE 고객들은 세계에서 가장 높은 수준의 표준에 의거하여 일을 합니다. 그 고객들은 최선을 다해 일할 것을 요구하며, 2015년 엔지니어링 성과 에미상(Emmy award)이 보여 주듯이 그 요구 수준에 맞추어서 작업을 합니다. 또한 그 고객들은 그들의 기술 공급업체/파트너들에게도 같은 높은 기준을 요구합니다. SSIMWAVE의 다소 포괄적인 분석 요구에 대해 해당 수준을 맞추는 데이터베이스는 SingleStore뿐입니다. SSIMWAVE는 독특한 기술과 분석 요구를 가지고 있습니다. SSIMWAVE는 인간의 시각 시스템을 모방하여 소프트웨어가 시청자가 인식하는 비디오 스트림의 품질을 단일 뷰어 점수로 정량화할 수 있게 합니.. 2020. 3. 5. SingleStore 아키텍처: 트랜잭션과 분석의 처리를 위한 혁신 기술 적용 서론 SingleStore는 메모리 내 분산된 관계형 아키텍처를 사용하는 트랜잭션 및 분석을 위한 실시간 데이터베이스입니다. SingleStore는 조직이 데이터에서 더 많은 가치를 더 빨리 추출할 수 있도록 대용량, 고속 빅 데이터 처리를 가능하게 합니다. SingleStore는 데이터 센터 또는 클라우드에 구축된 범용 하드웨어의 단일 데이터베이스에서 동시 트랜잭션 및 분석 워크로드를 지원함으로써 실시간 운영 분석이 가능하게 합니다. 인 메모리 분산 데이터베이스의 필요성 단일 서버에 있는 기존 데이터베이스의 데이터 볼륨이 너무 크게 증가하고 있습니다. 최신 애플리케이션은 기존 디스크 기반 기술이 허용하는 것보다 더 나은 성능을 필요로 합니다. IT 조직은 이러한 문제를 해결하기 위해 여러 솔.. 2019. 12. 30. SingleStore DB 7.0에서 강화된 시계열 데이터 활용 기능 SingleStore는 데이터를 수집하고, 업데이트하고, 집계 쿼리와 동시에 쿼리하는 실시간 분석에 매우 적합니다. 실시간 분석 활용 사례는 종종 각 개별 이벤트에 타임스탬프가 있는 이벤트 데이터를 기반으로 합니다. 이러한 일련의 이벤트를 시계열로 해석하는 것은 일반적입니다. 7.0 릴리스 이전의 SingleStore에서도 시계열 데이터 관리에 적합한 많은 기능을 다음과 같이 제공했습니다 [Han19]. ● 표준 SQL 인터페이스를 사용하여 트랜잭션 및 분석 워크로드를 지원하는 스케일 아웃, 비공유 아키텍처(Shared Nothing) ● 스케일 아웃과 결합된 컴파일 및 벡터화를 통한 빠른 쿼리 실행 ● 분산 병렬 처리를 지원하는 내장 파이프라인 기능을 통해 데이터를 매우 빠르게 로드하는 기능 ● 비 차.. 2019. 12. 24. [사례 연구, Fanatics] 느리고 복잡한 NoSQL들을 표준 SQL기반의 SingleStore로 전환하여 실시간 분석 경쟁력 확보 데이터에서 통찰력을 얻는 것은 더 이상 무시할 수 없는 경쟁 우위 요소입니다. 하지만 많은 기업들이 대규모의 데이터를 염두하지 않은 전통적인 데이터 기술에 기반하여 시스템을 구축했기 때문에 데이터를 최대한 활용하기가 어렵다는 것을 인식하고 있습니다. 기존의 SQL 기반 데이터베이스는 거의 모든 워크로드를 처리할 수 있었지만 그 워크로드들은 단일 노드 시스템에 적합했습니다. 이에 실시간 분석을 위해 증가하는 데이터 수요를 처리하기 위해 확장해야 하는 경우 데이터 인프라에 용도에 맞는 수많은 NoSQL 솔루션들을 도입해야 했습니다. 아래는 그림은 대표적인 데이터 아키텍처입니다. 오늘날 많은 기업들도 이와 유사한 복잡한 데이터 인프라를 다루고 있을 것입니다. 이보다 더 나은 방법으로 전 세계적으로 빠르게 성장.. 2019. 10. 16. SingleStore_Forum : 컬럼스토어 테이블 최적화, 50GB 이상의 빅테이블 처리를 빅테이블과 작은 테이블로 나누어 처리 1. 다른 DB의 빅테이블 처리 MS SQL이나 Postgres는 하나의 큰 테이블에서 데이터를 저장하는 대신에 아래와 같이 분리하여 저장 · 100K transactions per table (TABLE_TRANSACTIONS_1000000, TABLE_TRANSACTIONS_2000000) · 분리된 여러 테이블에 존재하는 데이터를 찾고 결과를 도출하기 위해 "UNION"을 사용함 · 하나의 큰 테이블 처리를 위해서는 시스템을 분리해야 함 2. SingleStore Forum 질문 SingleStore는 지속적으로 사이즈가 증가하는 하나의 컬럼스토어 테이블(+50GB)에 대해 향후 "JOIN"이나 쿼리를 수행하는 데 성능의 이슈는 없나? 답변 SingleStore는 수조 건의 Ro.. 2019. 10. 4. [사례 연구, Wag!] 애완견 산책 서비스의 실시간 및 급격한 동접자 수용 요구를 위한 SingleStore Wag!는 "애완견들을 위한 우버(Uber)"라고 불려왔습니다. 이 서비스는 애완견 주인과 애완견을 산책시키는 사람을 매칭시켜 실시간으로 산책 시키는 사람(산책객)을 개별적으로 추적하고 시각화합니다. 이 서비스는 현재 미국 전역의 100개 이상의 도시에서 이용할 수 있습니다. 지금, Wag!는 그들이 급속한 비즈니스 성장의 요구를 충족시키기 위해 SingleStore를 사용하고 있습니다. 애완견 주인들은 그들 주위에 있는 애완견 산책객들의 라이브(live) 지도를 갖고 시작을 합니다. 그들은 산책객과 연결을 하고 애완견을 위한 산책로를 설정하고, 그들의 이웃의 지도에서 그것이 진행되는 것을 라이브로 지켜봅니다. 모든 산책이 활동 보고서로 나타납니다. 이 보고서에는 애완견 사진, 산책 시간과 거리 등이.. 2019. 8. 14. 이전 1 2 다음
