본문 바로가기

에이플랫폼76

[사례 연구, Dzone] 시계열, 실시간 및 그 이상을 위한 SingleStore 먼저, 이 게시물은 Eric Hanson이 개발자 웹 사이트인 DZone에 게시한 시계열 데이터에 대한 Webinar 내용이 정리되었습니다. SingleStore의 Eric Hanson은 수십 년의 경험이 있는 수석 데이터 전문가입니다. Eric은 과거 기존 데이터베이스의 한계를 확장 가능한 SQL로 어떻게 해결할 수 있는지에 대한 설계 관점을 제공합니다. 또한, SingleStore에서 ANSI SQL 트랜잭션에 영향을 주지 않으면서 시계열 및 빅데이터 분석 워크로드를 처리하는 방법을 보여줍니다. 링크를 통해 DZone에 게시된 Webinar를 보실 수 있습니다. ​ ​시계열 데이터는 기업이 보유한 데이터와 향후 얻을 수 있는 데이터에서 더 많은 가치를 얻고자 함에 따라 점점 더 많은 관심을 끌고 있습.. 2019. 12. 6.
대용량 및 다차원 이미지 데이터를 SingleStore의 고성능 벡터 연산 함수로 처리하기 SingleStore의 고성능 벡터 연산을 위한 함수들 ​ SingleStore 벡터 함수(Vector Functions) ​ SingleStore는 두 벡터에 대한 유사율을 확인하기 위한 벡터함수를 제공합니다. DOT_PRODUCT 와 EUCLIDEAN_DISTANCE입니다. 이 두 벡터함수는 고속 고성능의 SIMD(Single-Instruction, Multiple-Data)를 구현하므로 하드웨어가 AVX2 명령어를 지원해야 합니다. ​ ​ ​ 또한 벡터함수에 올바른 형식의 벡터를 Insert 하기 위한 내장 함수도 지원합니다. 두 벡터에 대해서는 VECTOR_SUB 내장 함수를 지원하며 부동 소수점 숫자와 배열에 대해서는 JSON_ARRAY_PACK 내장 함수를 사용하여 쉽게 벡터로의 변환을 도와줍.. 2019. 11. 18.
[사례 연구, Fanatics] 느리고 복잡한 NoSQL들을 표준 SQL기반의 SingleStore로 전환하여 실시간 분석 경쟁력 확보 데이터에서 통찰력을 얻는 것은 더 이상 무시할 수 없는 경쟁 우위 요소입니다. 하지만 많은 기업들이 대규모의 데이터를 염두하지 않은 전통적인 데이터 기술에 기반하여 시스템을 구축했기 때문에 데이터를 최대한 활용하기가 어렵다는 것을 인식하고 있습니다. 기존의 SQL 기반 데이터베이스는 거의 모든 워크로드를 처리할 수 있었지만 그 워크로드들은 단일 노드 시스템에 적합했습니다. 이에 실시간 분석을 위해 증가하는 데이터 수요를 처리하기 위해 확장해야 하는 경우 데이터 인프라에 용도에 맞는 수많은 NoSQL 솔루션들을 도입해야 했습니다. 아래는 그림은 대표적인 데이터 아키텍처입니다. 오늘날 많은 기업들도 이와 유사한 복잡한 데이터 인프라를 다루고 있을 것입니다. 이보다 더 나은 방법으로 전 세계적으로 빠르게 성장.. 2019. 10. 16.
SingleStore_Forum : 컬럼스토어 테이블 최적화, 50GB 이상의 빅테이블 처리를 빅테이블과 작은 테이블로 나누어 처리 1. 다른 DB의 빅테이블 처리 MS SQL이나 Postgres는 하나의 큰 테이블에서 데이터를 저장하는 대신에 아래와 같이 분리하여 저장 ​ · 100K transactions per table (TABLE_TRANSACTIONS_1000000, TABLE_TRANSACTIONS_2000000) ​ · 분리된 여러 테이블에 존재하는 데이터를 찾고 결과를 도출하기 위해 "UNION"을 사용함 ​ · 하나의 큰 테이블 처리를 위해서는 시스템을 분리해야 함 ​​ 2. SingleStore Forum 질문 SingleStore는 지속적으로 사이즈가 증가하는 하나의 컬럼스토어 테이블(+50GB)에 대해 향후 "JOIN"이나 쿼리를 수행하는 데 성능의 이슈는 없나? ​ 답변 SingleStore는 수조 건의 Ro.. 2019. 10. 4.
[사례 연구, Comcast] Hadoop과 SingleStore를 활용한 실시간 스트림 처리 아키텍처 SingleStore와 Hadoop은 모두 데이터 저장소이지만 데이터 처리 및 분석 스택에서 서로 다른 역할을 수행합니다. 기업은 HDFS (Hadoop Distributed File System)를 사용하여 대량의 불변 데이터를 저장할 수 있지만 설계상으로는 거의 대부분 배치 처리에 사용됩니다. 게다가 더 빠르고 스토리지 기능이 뛰어난 새로운 실행 프레임웍인 SingleStore는 기업의 배치 처리 인터페이스로 선택된 MapReduce에게 도전장을 내고 있습니다. 람다(Lamda) 아키텍처 ​ 많은 SingleStore 고객들이 람다 아키넥처(LA)를 사용하여 시스템을 구축했습니다. LA는 매우 저렴한 스토리지에 대한 장기 데이데를 유지하면서, 최근의 핫 데이터가 요구하는 빠른 업데이트와 분석이 요구되.. 2019. 8. 30.
[사례 연구, Tapjoy] 실시간 광고 최적화를 위해 SingleStore로 모바일 광고 플랫폼 강화 Tapjoy는 SingleStore 초기의 열정적인 고객으로 그들의 엔지니어링 블로그에 SingleStore로의 DB 변경 과정에 대한 설명이 되어있습니다. 이 게시글에서 Tapjoy가 왜 SingleStore로 DB를 변경했는지, 이를 통해 무엇을 얻게 되었는지 몇 가지 주요 내용을 설명합니다. (아래 게시물 내용은 몇년전에 작성되었던 원본에서 최근 SingleStore 업데이트를 비롯한 여려 소스의 자세한 정보를 포함하여 업데이트 되었습니다.) ​ 광고와 앱 수익화의 선두주자인 Tapjoy는 비디오 광고, 제안, 보상을 통하여 앱 제공자가 사용자를 늘리고, 모바일 앱을 통해 수익을 창출할 수 있도록 지원합니다. Tapjoy는 3만개 이상의 모바일앱에 임베디드용 SDK를 탑재하였고, 홍보를 통해 어플 .. 2019. 8. 30.
중복 광고 타겟팅으로 전환 수 늘리기 디지털 광고는 수십억 개 이상의 상호작용을 통해 이루어지는 숫자 게임입니다. 광고주와 출판사는 트래픽을 사고팔기 위한 예측 모델을 구축한 다음, 그러한 모델을 반복해서 적용합니다. 심지어 모델에 대한 작은 변화, 즉 전환율을 1%의 비율로 바꾸는 변화는 10억 건의 거래 과정에서 수익에 지대한 영향을 미칠 수 있다. 타겟팅된 광고를 게재하려면 관심 분야 및 인구 통계 정보로 분류된 사용자 데이터베이스가 필요합니다. 세분화를 통해 보다 효과적인 타겟팅이 가능합니다. 예를 들어 일반적인 음악 팬 목록보다 락앤롤, 재즈 및 클래식 음악을 좋아하는 사용자 목록이있는 경우 더 관련성 높은 광고를 선택할 수 있습니다. ​ 여러 사용자 세그먼트 간의 중복을 알면 타겟팅에 대한 새로운 기회가 열립니다. 예를 들어, 사.. 2019. 8. 23.
[사례 연구, Diwo] SingleStore를 이용한 AI의 혁신 diwo®는 비즈니스 사용자들이 실제 문제에 대응할 수 있도록 돕는 새로운 AI 기반 플랫폼입니다. diwo는 "데이터가 들어오면 해결책을 제시한다(Data In, Wisdom Out)"를 의미하며, 대부분의 기능이 SingleStore를 기반으로 작동합니다. ​diwo는 숨겨진 비즈니스 기회를 공개하고 사용자가 적시에 그에 따라 행동할 수 있도록하기 위해 개발 되었습니다. 소프트웨어는 프로그래밍 또는 스크립팅 언어를 통하지 않고 AI 기반 대화식 모드에서 실행될 수 있습니다. (시스템에는 여러 계층의 정교한 코딩이 포함되어 있음). diwo의 대화형 페르소나인 ASK는 일련의 분산 마이크로 서비스에 의해 구동되며 트랜잭션 및 쿼리에 SingleStore를 사용합니다. ​ diwo는 의사 결정 과학 및 .. 2019. 8. 22.
[사례 연구, Tradelab] SingleStore를 통한 실시간 입찰 프랑스에 본사를 둔 프로그램 마케팅 플랫폼 회사인 Tradelab은 SingleStore를 사용하여 수백 명의 고객에 대한 실시간 입찰 데이터를 처리하고 분석합니다 문제 : NoSQL 데이터베이스의 데이터 지연 ​ Tradelab 실시간 광고 게재 플랫폼에는 대량의 혼합 읽기 / 쓰기 작업 부하가 필요하며, 그들이 갖고 있는 NoSQL 데이터베이스는 광고 입찰 프로세스에 불필요한 데이터 지연 시간(latency)을 야기시킵니다. 이 회사는 다음과 같은 두 가지 요건을 갖춘 실시간 데이터 관리 솔루션을 찾기 시작했습니다. ​ 1. 더 많은 데이터를 메모리에 저장하여 실시간 성능 제공 2. Tradelab 플랫폼을 강화하기 위해 관계형 및 JSON 데이터를 함께 분석하는 기능 ​ 솔루션:수평확장(Scale .. 2019. 8. 22.

티스토리툴바