본문 바로가기

SingleStoreDB93

SingleStore_Forum : 컬럼스토어 테이블 최적화, 50GB 이상의 빅테이블 처리를 빅테이블과 작은 테이블로 나누어 처리 1. 다른 DB의 빅테이블 처리 MS SQL이나 Postgres는 하나의 큰 테이블에서 데이터를 저장하는 대신에 아래와 같이 분리하여 저장 ​ · 100K transactions per table (TABLE_TRANSACTIONS_1000000, TABLE_TRANSACTIONS_2000000) ​ · 분리된 여러 테이블에 존재하는 데이터를 찾고 결과를 도출하기 위해 "UNION"을 사용함 ​ · 하나의 큰 테이블 처리를 위해서는 시스템을 분리해야 함 ​​ 2. SingleStore Forum 질문 SingleStore는 지속적으로 사이즈가 증가하는 하나의 컬럼스토어 테이블(+50GB)에 대해 향후 "JOIN"이나 쿼리를 수행하는 데 성능의 이슈는 없나? ​ 답변 SingleStore는 수조 건의 Ro.. 2019. 10. 4.
예측분석에 기반한 글로벌 공급망 관리를 위한 SingleStore 사물 인터넷(IoT)은 매일 엄청난 양의 데이터를 생성합니다. 이 데이터에 대한 실시간 분석은 오늘날의 상시 경제에서 소비자의 요구를 해결하는 데 도움이 됩니다. ​ 공급망 관리는 IoT가 제조 산업에 미치는 영향을 보여줍니다. 차량, 선적 컨테이너 , 패키지 등 다수의 이동 부품이 데이터 소스로 기능하고 있는 가운데, 기업은 IoT 데이터를 수집하고 분석하기 위한 보다 발전된 방법이 필요합니다. ​ ​ 대부분의 기업은 묘사 분석(Descriptive Analysis)을 사용하지만, Gartner의 위 통계는 묘사 만으로는 더 이상 충분하지 않다고 강조합니다. 데이터 분석은 예측 분석(Predictive Analysis)으로 발전하고 있으며, 결국 이를 훨씬 넘어 처방 분석(Prescriptive Ana.. 2019. 9. 3.
[사례 연구, Comcast] Hadoop과 SingleStore를 활용한 실시간 스트림 처리 아키텍처 SingleStore와 Hadoop은 모두 데이터 저장소이지만 데이터 처리 및 분석 스택에서 서로 다른 역할을 수행합니다. 기업은 HDFS (Hadoop Distributed File System)를 사용하여 대량의 불변 데이터를 저장할 수 있지만 설계상으로는 거의 대부분 배치 처리에 사용됩니다. 게다가 더 빠르고 스토리지 기능이 뛰어난 새로운 실행 프레임웍인 SingleStore는 기업의 배치 처리 인터페이스로 선택된 MapReduce에게 도전장을 내고 있습니다. 람다(Lamda) 아키텍처 ​ 많은 SingleStore 고객들이 람다 아키넥처(LA)를 사용하여 시스템을 구축했습니다. LA는 매우 저렴한 스토리지에 대한 장기 데이데를 유지하면서, 최근의 핫 데이터가 요구하는 빠른 업데이트와 분석이 요구되.. 2019. 8. 30.
[사례 연구, Tapjoy] 실시간 광고 최적화를 위해 SingleStore로 모바일 광고 플랫폼 강화 Tapjoy는 SingleStore 초기의 열정적인 고객으로 그들의 엔지니어링 블로그에 SingleStore로의 DB 변경 과정에 대한 설명이 되어있습니다. 이 게시글에서 Tapjoy가 왜 SingleStore로 DB를 변경했는지, 이를 통해 무엇을 얻게 되었는지 몇 가지 주요 내용을 설명합니다. (아래 게시물 내용은 몇년전에 작성되었던 원본에서 최근 SingleStore 업데이트를 비롯한 여려 소스의 자세한 정보를 포함하여 업데이트 되었습니다.) ​ 광고와 앱 수익화의 선두주자인 Tapjoy는 비디오 광고, 제안, 보상을 통하여 앱 제공자가 사용자를 늘리고, 모바일 앱을 통해 수익을 창출할 수 있도록 지원합니다. Tapjoy는 3만개 이상의 모바일앱에 임베디드용 SDK를 탑재하였고, 홍보를 통해 어플 .. 2019. 8. 30.
중복 광고 타겟팅으로 전환 수 늘리기 디지털 광고는 수십억 개 이상의 상호작용을 통해 이루어지는 숫자 게임입니다. 광고주와 출판사는 트래픽을 사고팔기 위한 예측 모델을 구축한 다음, 그러한 모델을 반복해서 적용합니다. 심지어 모델에 대한 작은 변화, 즉 전환율을 1%의 비율로 바꾸는 변화는 10억 건의 거래 과정에서 수익에 지대한 영향을 미칠 수 있다. 타겟팅된 광고를 게재하려면 관심 분야 및 인구 통계 정보로 분류된 사용자 데이터베이스가 필요합니다. 세분화를 통해 보다 효과적인 타겟팅이 가능합니다. 예를 들어 일반적인 음악 팬 목록보다 락앤롤, 재즈 및 클래식 음악을 좋아하는 사용자 목록이있는 경우 더 관련성 높은 광고를 선택할 수 있습니다. ​ 여러 사용자 세그먼트 간의 중복을 알면 타겟팅에 대한 새로운 기회가 열립니다. 예를 들어, 사.. 2019. 8. 23.
[사례 연구, Diwo] SingleStore를 이용한 AI의 혁신 diwo®는 비즈니스 사용자들이 실제 문제에 대응할 수 있도록 돕는 새로운 AI 기반 플랫폼입니다. diwo는 "데이터가 들어오면 해결책을 제시한다(Data In, Wisdom Out)"를 의미하며, 대부분의 기능이 SingleStore를 기반으로 작동합니다. ​diwo는 숨겨진 비즈니스 기회를 공개하고 사용자가 적시에 그에 따라 행동할 수 있도록하기 위해 개발 되었습니다. 소프트웨어는 프로그래밍 또는 스크립팅 언어를 통하지 않고 AI 기반 대화식 모드에서 실행될 수 있습니다. (시스템에는 여러 계층의 정교한 코딩이 포함되어 있음). diwo의 대화형 페르소나인 ASK는 일련의 분산 마이크로 서비스에 의해 구동되며 트랜잭션 및 쿼리에 SingleStore를 사용합니다. ​ diwo는 의사 결정 과학 및 .. 2019. 8. 22.
[사례 연구, Tradelab] SingleStore를 통한 실시간 입찰 프랑스에 본사를 둔 프로그램 마케팅 플랫폼 회사인 Tradelab은 SingleStore를 사용하여 수백 명의 고객에 대한 실시간 입찰 데이터를 처리하고 분석합니다 문제 : NoSQL 데이터베이스의 데이터 지연 ​ Tradelab 실시간 광고 게재 플랫폼에는 대량의 혼합 읽기 / 쓰기 작업 부하가 필요하며, 그들이 갖고 있는 NoSQL 데이터베이스는 광고 입찰 프로세스에 불필요한 데이터 지연 시간(latency)을 야기시킵니다. 이 회사는 다음과 같은 두 가지 요건을 갖춘 실시간 데이터 관리 솔루션을 찾기 시작했습니다. ​ 1. 더 많은 데이터를 메모리에 저장하여 실시간 성능 제공 2. Tradelab 플랫폼을 강화하기 위해 관계형 및 JSON 데이터를 함께 분석하는 기능 ​ 솔루션:수평확장(Scale .. 2019. 8. 22.
Webinar: ML/AI 운영 시대의 데이터 레이크(Data Lake)의 발전 Data Science Central의 Bill Vorhies와 SingleStore의 Rick Negrin은 최근 데이터 레이크(Data Lake)에 대한 Webinar와 인공지능(AI) 및 머신러닝(ML) 운영 시대의 Hadoop 사용에 대한 Webinar를 제공했습니다. 이 블로그 게시물에서는 Webinar의 미리보기로 Webinar의 주요 요점을 요약합니다. 언제라도 녹화된 Webinar를 볼 수 있습니다. 기업은 최상의 의사 결정을 내리기 위해 데이터에 유연하게 액세스해야 합니다. 불행히도 오늘날 사용되는 시스템은 복잡성과 구조적으로 지연을 초래합니다. ANSI SQL을 지원하는 빠르고 확장 가능한 관계형 데이터베이스인 SingleStore는 데이터 처리 아키텍처를 단순화하고 의사 결정 속도를 .. 2019. 8. 19.
[사례 연구, Areeba] 금융에서 이상거래 탐지, 자금세탁 방지 등에 SingleStore 사용 Areeba는 결제 혁신 업체입니다. 비정형 데이터에는 Hadoop을 사용하고 관계형 데이터베이스로는 MariaDB를 사용했었습니다. 이제 Areeba는 이상거래 탐지, 자금세탁 방지(AML)을 포함한 여러 프로젝트에 SingleStore를 사용하고 있습니다. Areeba는 지난해 중동의 대표적인 은행인 Bank Audi에서 분리된 금융 서비스 회사입니다. 이전에 Areeba는 Bank Audi의 결제 카드 및 전자 서비스 부서였습니다. 현재 Areeba는 6 개 이상의 은행을 고객으로 보유하고 있으며 신용 카드 로열티 프로그램을 운영하고 중동 및 아프리카의 국가에서 전자 상거래를 위한 결제(Billing) 게이트웨이 역할을 합니다. ​ Areeba는 금융 서비스 고객을 위한 고급 기술 서비스를 선도하고.. 2019. 8. 14.

티스토리툴바