본문 바로가기

MemSQL50

SingleStore_Forum : 컬럼스토어 테이블 최적화, 50GB 이상의 빅테이블 처리를 빅테이블과 작은 테이블로 나누어 처리 1. 다른 DB의 빅테이블 처리 MS SQL이나 Postgres는 하나의 큰 테이블에서 데이터를 저장하는 대신에 아래와 같이 분리하여 저장 ​ · 100K transactions per table (TABLE_TRANSACTIONS_1000000, TABLE_TRANSACTIONS_2000000) ​ · 분리된 여러 테이블에 존재하는 데이터를 찾고 결과를 도출하기 위해 "UNION"을 사용함 ​ · 하나의 큰 테이블 처리를 위해서는 시스템을 분리해야 함 ​​ 2. SingleStore Forum 질문 SingleStore는 지속적으로 사이즈가 증가하는 하나의 컬럼스토어 테이블(+50GB)에 대해 향후 "JOIN"이나 쿼리를 수행하는 데 성능의 이슈는 없나? ​ 답변 SingleStore는 수조 건의 Ro.. 2019. 10. 4.
[사례 연구, Comcast] Hadoop과 SingleStore를 활용한 실시간 스트림 처리 아키텍처 SingleStore와 Hadoop은 모두 데이터 저장소이지만 데이터 처리 및 분석 스택에서 서로 다른 역할을 수행합니다. 기업은 HDFS (Hadoop Distributed File System)를 사용하여 대량의 불변 데이터를 저장할 수 있지만 설계상으로는 거의 대부분 배치 처리에 사용됩니다. 게다가 더 빠르고 스토리지 기능이 뛰어난 새로운 실행 프레임웍인 SingleStore는 기업의 배치 처리 인터페이스로 선택된 MapReduce에게 도전장을 내고 있습니다. 람다(Lamda) 아키텍처 ​ 많은 SingleStore 고객들이 람다 아키넥처(LA)를 사용하여 시스템을 구축했습니다. LA는 매우 저렴한 스토리지에 대한 장기 데이데를 유지하면서, 최근의 핫 데이터가 요구하는 빠른 업데이트와 분석이 요구되.. 2019. 8. 30.
[사례 연구, Tapjoy] 실시간 광고 최적화를 위해 SingleStore로 모바일 광고 플랫폼 강화 Tapjoy는 SingleStore 초기의 열정적인 고객으로 그들의 엔지니어링 블로그에 SingleStore로의 DB 변경 과정에 대한 설명이 되어있습니다. 이 게시글에서 Tapjoy가 왜 SingleStore로 DB를 변경했는지, 이를 통해 무엇을 얻게 되었는지 몇 가지 주요 내용을 설명합니다. (아래 게시물 내용은 몇년전에 작성되었던 원본에서 최근 SingleStore 업데이트를 비롯한 여려 소스의 자세한 정보를 포함하여 업데이트 되었습니다.) ​ 광고와 앱 수익화의 선두주자인 Tapjoy는 비디오 광고, 제안, 보상을 통하여 앱 제공자가 사용자를 늘리고, 모바일 앱을 통해 수익을 창출할 수 있도록 지원합니다. Tapjoy는 3만개 이상의 모바일앱에 임베디드용 SDK를 탑재하였고, 홍보를 통해 어플 .. 2019. 8. 30.
중복 광고 타겟팅으로 전환 수 늘리기 디지털 광고는 수십억 개 이상의 상호작용을 통해 이루어지는 숫자 게임입니다. 광고주와 출판사는 트래픽을 사고팔기 위한 예측 모델을 구축한 다음, 그러한 모델을 반복해서 적용합니다. 심지어 모델에 대한 작은 변화, 즉 전환율을 1%의 비율로 바꾸는 변화는 10억 건의 거래 과정에서 수익에 지대한 영향을 미칠 수 있다. 타겟팅된 광고를 게재하려면 관심 분야 및 인구 통계 정보로 분류된 사용자 데이터베이스가 필요합니다. 세분화를 통해 보다 효과적인 타겟팅이 가능합니다. 예를 들어 일반적인 음악 팬 목록보다 락앤롤, 재즈 및 클래식 음악을 좋아하는 사용자 목록이있는 경우 더 관련성 높은 광고를 선택할 수 있습니다. ​ 여러 사용자 세그먼트 간의 중복을 알면 타겟팅에 대한 새로운 기회가 열립니다. 예를 들어, 사.. 2019. 8. 23.
[사례 연구, Diwo] SingleStore를 이용한 AI의 혁신 diwo®는 비즈니스 사용자들이 실제 문제에 대응할 수 있도록 돕는 새로운 AI 기반 플랫폼입니다. diwo는 "데이터가 들어오면 해결책을 제시한다(Data In, Wisdom Out)"를 의미하며, 대부분의 기능이 SingleStore를 기반으로 작동합니다. ​diwo는 숨겨진 비즈니스 기회를 공개하고 사용자가 적시에 그에 따라 행동할 수 있도록하기 위해 개발 되었습니다. 소프트웨어는 프로그래밍 또는 스크립팅 언어를 통하지 않고 AI 기반 대화식 모드에서 실행될 수 있습니다. (시스템에는 여러 계층의 정교한 코딩이 포함되어 있음). diwo의 대화형 페르소나인 ASK는 일련의 분산 마이크로 서비스에 의해 구동되며 트랜잭션 및 쿼리에 SingleStore를 사용합니다. ​ diwo는 의사 결정 과학 및 .. 2019. 8. 22.
[사례 연구, Tradelab] SingleStore를 통한 실시간 입찰 프랑스에 본사를 둔 프로그램 마케팅 플랫폼 회사인 Tradelab은 SingleStore를 사용하여 수백 명의 고객에 대한 실시간 입찰 데이터를 처리하고 분석합니다 문제 : NoSQL 데이터베이스의 데이터 지연 ​ Tradelab 실시간 광고 게재 플랫폼에는 대량의 혼합 읽기 / 쓰기 작업 부하가 필요하며, 그들이 갖고 있는 NoSQL 데이터베이스는 광고 입찰 프로세스에 불필요한 데이터 지연 시간(latency)을 야기시킵니다. 이 회사는 다음과 같은 두 가지 요건을 갖춘 실시간 데이터 관리 솔루션을 찾기 시작했습니다. ​ 1. 더 많은 데이터를 메모리에 저장하여 실시간 성능 제공 2. Tradelab 플랫폼을 강화하기 위해 관계형 및 JSON 데이터를 함께 분석하는 기능 ​ 솔루션:수평확장(Scale .. 2019. 8. 22.
[사례 연구, Areeba] 금융에서 이상거래 탐지, 자금세탁 방지 등에 SingleStore 사용 Areeba는 결제 혁신 업체입니다. 비정형 데이터에는 Hadoop을 사용하고 관계형 데이터베이스로는 MariaDB를 사용했었습니다. 이제 Areeba는 이상거래 탐지, 자금세탁 방지(AML)을 포함한 여러 프로젝트에 SingleStore를 사용하고 있습니다. Areeba는 지난해 중동의 대표적인 은행인 Bank Audi에서 분리된 금융 서비스 회사입니다. 이전에 Areeba는 Bank Audi의 결제 카드 및 전자 서비스 부서였습니다. 현재 Areeba는 6 개 이상의 은행을 고객으로 보유하고 있으며 신용 카드 로열티 프로그램을 운영하고 중동 및 아프리카의 국가에서 전자 상거래를 위한 결제(Billing) 게이트웨이 역할을 합니다. ​ Areeba는 금융 서비스 고객을 위한 고급 기술 서비스를 선도하고.. 2019. 8. 14.
[사례 연구, Wag!] 애완견 산책 서비스의 실시간 및 급격한 동접자 수용 요구를 위한 SingleStore Wag!는 "애완견들을 위한 우버(Uber)"라고 불려왔습니다. 이 서비스는 애완견 주인과 애완견을 산책시키는 사람을 매칭시켜 실시간으로 산책 시키는 사람(산책객)을 개별적으로 추적하고 시각화합니다. 이 서비스는 현재 미국 전역의 100개 이상의 도시에서 이용할 수 있습니다. 지금, Wag!는 그들이 급속한 비즈니스 성장의 요구를 충족시키기 위해 SingleStore를 사용하고 있습니다. ​ 애완견 주인들은 그들 주위에 있는 애완견 산책객들의 라이브(live) 지도를 갖고 시작을 합니다. 그들은 산책객과 연결을 하고 애완견을 위한 산책로를 설정하고, 그들의 이웃의 지도에서 그것이 진행되는 것을 라이브로 지켜봅니다. 모든 산책이 활동 보고서로 나타납니다. 이 보고서에는 애완견 사진, 산책 시간과 거리 등이.. 2019. 8. 14.
[사례 연구, Epigen] SingleStore를 통한 ML기반 안면 인식(Facial Recognition) 인프라 강화 Epigen Technology는 핵심 툴킷의 일부로 SingleStore에 크게 의존하고 있습니다. "SingleStore 없이는, 제가 하는 일을 할 수 없습니다,"라고 에피젠의 설립자인 테리 라이스는 말합니다. ​Epigen Technology는 소프트웨어를 사용하여 사이버 보안, 분석, 머신러닝, 인공 지능(AI)과 인지 컴퓨팅(cognitive computing)의 신규 분야를 포함하여 빠르게 변화하는 많은 기술 분야를 혁신하고 있습니다. 지금 에피젠은 AWS S3, SingleStore, 머신러닝, AI, 시각화를 결합한 클라우드 상에서 안면 인식 프레임워크를 개발했습니다. ​ Epigen의 설립자인 Terry Rice는 유명한 IT 컨설턴트로, 국가 안보 위협을 포함한 도전적인 문제에 대해 .. 2019. 8. 13.

티스토리툴바