본문 바로가기

데이터베이스12

SingleStore Hands-On #5 Online Scale Out/In 🎯 개요 SingleStore 는 분산(Distributed) 데이터베이스로 Shared Nothing 구조를 가지고 있습니다. 따라서 현재 시스템보다 더 높은 성능이 요구될 때 쉽게 수평 확장(Scale Out)할 수 있는 것이 큰 장점입니다. ​ 이번 테스트에서는 k6 성능테스트 툴로 Data API 를 이용해 트랜잭션이 실행되는 도중에 온라인으로 수평 확장(Scale Out) 및 축소(Scale In) 작업을 수행하도록 하겠습니다. ​ 실제 SingleStore 입장에서는 Leaf Node 를 추가/삭제하는 작업을 수행합니다. ​ 🎯 gnuplot 설치 SingleStore 클러스터가 온라인 상태에서 Leaf 노드를 추가/삭제할 동안 성능의 변화를 파악하기 위해 k6 실행 결과를 csv 로 로깅할 .. 2023. 12. 21.
전자신문 - 아이티메세지, 싱글스토어 DB기반 마이데이터 모니터링 솔루션 '파인트레이스' 출시 디지털 전환 전문기업, 아이티메세지 (대표 이대영)는 최근 국내 최초로 마이데이터 전문 모니터링 솔루션인 '파인트레이스(FineTrace)'를 출시했다고 16일 밝혔다. 팬데믹으로 인해 최근 금융권을 중심으로 비대면 금융 서비스가 본격화되고, 작년 데이터 3법 통과 후에 많은 금융 기업들이 개인의 신용정보활용을 통해 다양한 맞춤형 서비스 제공을 위한 마이데이터 플랫폼 구축에 열을 올리고 있다. 이에 대한 반증으로 이미 선정된 28개 마이데이터 사업자 외에 2차로 사업자 인가 신청을 위해 많은 기업들이 준비하고 있다. 구축되는 마이데이터 시스템은 오픈 API 기반으로 개인의 금융 데이터를 마이데이터 사업자에게 제공해야 하고 동시에 제공받은 데이터를 기반으로 맞춤형 서비스를 제공한다. 이를 위해서는 마이데이.. 2021. 2. 17.
[사례 연구, PandoraTV] 수 천억 행의 쿼리를 위한 실시간 대쉬보드 구축 ​ 개요 ​2016년에는 특정 비즈니스 문제를 해결하기 위한 데이터 저장소와 기반 기술로 SingleStore를 선택했습니다. 이 포스트에서 다음을 내용을 보고자 합니다. 비즈니스 문제 기존 시스템 비즈니스 및 기술 요구 사항 검토 대상 솔루션 SingleStore 개요 SingleStore 구현 방법 데이터 전략: 컬럼스토어 vs. 로우스토어 하드웨어 세부 정보 다양한 학습 경험 요약 비즈니스 문제 ​해결책을 찾는 첫 번째 단계는 문제를 명확하게 정의하는 것입니다. 그 문제를 해결할 수 있는 방법을 찾는 것이 아니라, 그 문제를 해결할 수 있는 가장 좋은 방법을 찾는 것이 목표였습니다. 우리가 해결하려고 했던 것은 광고 판매 팀이 현재 광고 캠페인과 이전 광고 캠페인에 대한 데이터를 볼 수 있게 대쉬보.. 2020. 1. 8.
빠른 복제(Replication) – SingleStore DB 7.0의 기록 시스템(SoR) ​ 기록 시스템(System of Record; SoR)은 트랜잭션 데이터베이스의 성배입니다. 회사는 빠르고 효율적인 복원 기능으로 트랜잭션이 완료되고 완료된 트랜잭션을 백업하는 여러 가지 방법이 있는 신뢰할 수 있는 데이터베이스에서 워크로드(Workload)를 실행해야 합니다. SingleStore DB 7.0에는 매우 빠른 동기식 복제를 제공하는 새로운 기능이 포함되어 있어 유연성과 신뢰성이 향상됩니다. 이러한 기능을 통해 SingleStore DB 7.0은 기록 시스템이 필요한 Tier 1 워크로드에 대한 대안을 제공합니다. SingleStore Universal Storage와 트랜잭션과 분석을 동일한 데이터베이스 소프트웨어에서 결합할 수 있는 SingleStore의 기존의 기능과 결합 시 Sin.. 2019. 12. 24.
[사례 연구, Diwo] SingleStore를 이용한 AI의 혁신 diwo®는 비즈니스 사용자들이 실제 문제에 대응할 수 있도록 돕는 새로운 AI 기반 플랫폼입니다. diwo는 "데이터가 들어오면 해결책을 제시한다(Data In, Wisdom Out)"를 의미하며, 대부분의 기능이 SingleStore를 기반으로 작동합니다. ​diwo는 숨겨진 비즈니스 기회를 공개하고 사용자가 적시에 그에 따라 행동할 수 있도록하기 위해 개발 되었습니다. 소프트웨어는 프로그래밍 또는 스크립팅 언어를 통하지 않고 AI 기반 대화식 모드에서 실행될 수 있습니다. (시스템에는 여러 계층의 정교한 코딩이 포함되어 있음). diwo의 대화형 페르소나인 ASK는 일련의 분산 마이크로 서비스에 의해 구동되며 트랜잭션 및 쿼리에 SingleStore를 사용합니다. ​ diwo는 의사 결정 과학 및 .. 2019. 8. 22.
[사례 연구, Tradelab] SingleStore를 통한 실시간 입찰 프랑스에 본사를 둔 프로그램 마케팅 플랫폼 회사인 Tradelab은 SingleStore를 사용하여 수백 명의 고객에 대한 실시간 입찰 데이터를 처리하고 분석합니다 문제 : NoSQL 데이터베이스의 데이터 지연 ​ Tradelab 실시간 광고 게재 플랫폼에는 대량의 혼합 읽기 / 쓰기 작업 부하가 필요하며, 그들이 갖고 있는 NoSQL 데이터베이스는 광고 입찰 프로세스에 불필요한 데이터 지연 시간(latency)을 야기시킵니다. 이 회사는 다음과 같은 두 가지 요건을 갖춘 실시간 데이터 관리 솔루션을 찾기 시작했습니다. ​ 1. 더 많은 데이터를 메모리에 저장하여 실시간 성능 제공 2. Tradelab 플랫폼을 강화하기 위해 관계형 및 JSON 데이터를 함께 분석하는 기능 ​ 솔루션:수평확장(Scale .. 2019. 8. 22.
[사례 연구, Areeba] 금융에서 이상거래 탐지, 자금세탁 방지 등에 SingleStore 사용 Areeba는 결제 혁신 업체입니다. 비정형 데이터에는 Hadoop을 사용하고 관계형 데이터베이스로는 MariaDB를 사용했었습니다. 이제 Areeba는 이상거래 탐지, 자금세탁 방지(AML)을 포함한 여러 프로젝트에 SingleStore를 사용하고 있습니다. Areeba는 지난해 중동의 대표적인 은행인 Bank Audi에서 분리된 금융 서비스 회사입니다. 이전에 Areeba는 Bank Audi의 결제 카드 및 전자 서비스 부서였습니다. 현재 Areeba는 6 개 이상의 은행을 고객으로 보유하고 있으며 신용 카드 로열티 프로그램을 운영하고 중동 및 아프리카의 국가에서 전자 상거래를 위한 결제(Billing) 게이트웨이 역할을 합니다. ​ Areeba는 금융 서비스 고객을 위한 고급 기술 서비스를 선도하고.. 2019. 8. 14.
SingleStore, Apache Spark 연동 실습 - Count 예제 Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux SingleStore(MemSQL) : Version 6.0 이상 Spark : spark-2.4.3-bin-hadoop2.7 SBT : Version 1.2.8 ​ ​ 파트 1 : SingleStore 데이터베이스, 테이블 및 데이터 생성 ​ SingleStore에서 다음과 같이 데이터베이스 및 테이블을 생성하고 데이터를 입력합니다. CREATE DATABASE quickstart_kafka; USE quickstart_kafka; CREATE TABLE sensor_data_table(id text); INSERT INTO sensor_data_table(id) VAL.. 2019. 7. 25.
SingleStore, Apache Kafka 연동 개요 Introduction ​ 세계는 디지털 변환으로 가득 차 있으며, 연결된 모든 장치(Device)의 중심에서 기업용 애플리케이션(Enterprise applications)으로 가는 모든 방법이 메시지입니다. ​ Rise of the Message Queue ​디지털 메시지의 모든 입력 및 출력에 보조를 맞추기 위해 메시지 큐가 발전했습니다. 지난 몇 년 동안 Apache Kafka가 메시지 큐 환경을 지배하게되었습니다. ​ RabbitMQ, ZeroMQ, 물론 AWS Kinesis와 같은 유용한 메시지 큐가 있습니다. 이 가이드의 일부는 다른 메시지 큐에도 적용되지만 이 문서에서는 Kafka에 초점을 맞추고 있습니다. ​ 카프카 기본에는 한 명 또는 여러 명의 생산자가 제공 한 데이터를 섭취하고 하나.. 2019. 7. 24.