본문 바로가기

SingleStore96

TensorFlow, Kafka 및 SingleStore를 이용한 실시간 머신러닝 스트리밍과 분류(classification)을 동시에 할 수 있는 SQL 쿼리 기반의 간단한 머신러닝 파이프라인을 구축하는 방법 TensorFlow는 최고의 머신 러닝 라이브러리 중 하나로 부상했으며 운영 데이터베이스와 결합하면 정교한 머신 러닝 워크 플로우를 신속하게 구축할 수있는 기반을 제공합니다. 이 포스팅에서는 스피드 데이트(Speed Dating) 데이터 셋을 이용한 머신러닝 워크 플로우를 살펴보기 합니다. 이 데모의 전체적인 목표는 머신이 제안해서 매칭과 사람이 직접 다른 사람의 프로필을 보고 하는 매칭과 비교하는 것입니다. 데이터 세트는 Kaggle의 스피드 데이트 실험에서 가져온 것 입니다. ​ 워크 플로의 일부로 SingleStore 파이프 라인을 사용하여 Kafka의 데이터를 실시간으로.. 2019. 8. 9.
실시간 대시 보드와 빠른 업데이트를 위한 SingleStore의 벤치 마크 최신 Upsert 벤치 마크는 통신사, ISP 및 CDN을 통한 인터넷 청구에서 중요한 사용 사례를 보여줍니다. SingleStore는 초당790 만 건의 Upsert를 달성했으며, 현재 GitHub에서 제공되는 Cassandra 벤치 마크 세부 정보 및 스크립트보다 6 배 빠릅니다. 빠른 업데이트 및 실시간 대시 보드에 대한 비즈니스 요구 기업은 데이터에서 통찰력을 원하며 정보를 보다 빨리 얻기를 원합니다. 빠르게 변화하는 데이터를 위해서는 올바른 결정을 내리기 위해 통찰력을 신속하게 수집해야합니다. IoT 원격 측정 모니터링, 모바일 네트워크 사용, 인터넷 서비스 제공 업체 (ISP) 청구 및 콘텐츠 전송 네트워크(CDN) 사용 추적과 같은 산업 응용 프로그램은 빠르게 변화하는 데이터를 사용하는 실시.. 2019. 8. 9.
[사례 연구, Kellogg] ETL 시간 단축(24 시간-> 수십분), BI 속도 향상(20 배) 켈로그(Kellogg) 소개 켈로그는 시리얼 생산분야에서 글로벌 선두이자, 쿠키/크래커/스낵 등의 분야에서는 세계 2위의 생산 업체이며, 냉동식품 분야에서는 북미의 선두 기업입니다. 켈로그는 2015년 매출 135억 달러를 기록하며, 21개국에서 1,600여 개 식품을 생산하고 180여 개국에 많은 브랜드를 판매하고 있습니다. 배경 고객 물류 데이터로 수익 창출 켈로그는 고객의 물류 데이터 정보를 사용하여 결정을 내리고, 쇼핑 경험 데이터를 중심으로 효율성을 개선합니다. 이러한 데이터의 정확성과 속도는 켈로그 기업의 수익과 직결됩니다. ​ 인 메모리(in-memory) 활용으로 데이터 액세스 속도 향상 켈로그는 비즈니스 유저가 데이터를 쉽게 사용할 수 있도록 하는 것이 가장 중요한 사항이었기에 데이터 지.. 2019. 8. 8.
Webinar: Kafka와 SingleStore가 지능형 실시간 애플리케이션을 제공하는 방법 Apache Kafka와 SingleStore를 함께 사용하면 지능형 실시간 애플리케이션을 생성하고 제공하는 것이 훨씬 쉬워집니다. 이 웨비나에서, SingleStore의 알렉 파월은 Kafka와 SingleStore가 각 테이블에 가져오는 밸류에 대해 논의했고, 공통의 데이터 관리 문제를 해결하기 위한 레퍼런스 아키텍처를 보여주었으며, Kafka와 SingleStore를 가지고 실시간 데이터 파이프라인을 구현하는 방법을 시연했습니다. Kafka는 공개 구독 모델에서 작동하는 오픈 소스 메시징 큐입니다. SingleStore와 같이 분산형 구조이고 내구성을 제공합니다. Kafka는 조직 전체의 데이터에 대한 사실의 출처(a source of truth)이 될 수 있습니다. ​ 엔터프라이즈 IT를 위한 K.. 2019. 8. 8.
[사례 연구] AWS RDS와 Druid.io를 SingleStore로 전환하여 비용 절감(약 6만 달러/월) 한 고객이 트랜잭션을 처리를 위해 Amazon RDS와 분석을 위한 Druid.io라는 두 가지 데이터베이스 상에서 비즈니스를 운영했고, 월 총 빌링액은 93,000달러가 넘었습니다. 두 DBMS의 기능을 하나의 SingleStore로 옮긴 후에 비용지출을 전체의 약 2/3를 절감 할 수 있었습니다. 고객은 현재 매월 31,000달러의 비용을 지불하게 되어 기존 비용 중 66%(월 62,000달러)를 절감하고 있습니다. 또한 고객은 성능 향상, 동시성 향상과 쉬운 데이터베이스 관리의 혜택을 누리고 있습니다. 향후 프로젝트들 또한 기존 서비스에 새로운 기능 추가하는 비용을 낮추고 전략적 유연성을 높일 수 있는 이런 혜택들을 요청하고 있습니다. 위의 차트는 AWS RDS와 Druid.io 사용시 월 약 68.. 2019. 8. 8.
[사례 연구, Pinterest_에너지기업] SingleStore를 통해 실시간 대쉬보드 구축 실시간 의사 결정을 가능하게 하고 향상된 고객 경험을 제공하려면 실시간 분석이 필요합니다(실시간 백서 다운로드). 실시간 애플리케이션 구축은 데이터 파이프 라인을 연결하는 것으로 시작합니다. 정보에 기반한 의사 결정을 신속하게 내리려면 애플리케이션 데이터를 빠르게 수집하고 이를 취급할 수 있는 형식으로 변환하여 저장한 후 쉽게 액세스할 수 있어야 합니다. (1 초 미만의 속도) 이 비디오에서는 이전 버전의 SingleStore가 어떻게 실시간 분석 스택의 핵심 역할을 했는지 보여줍니다. ​ https://www.youtube.com/watch?v=gapTJYxyV2E SingleStore가 분석을 지원하는 방법 SingleStore의 분석적 접근 방식을 간단히 살펴 보겠습니다. SingleStore는 운.. 2019. 8. 8.
IOT(FDC)등의 초당 수억건의 시계열 데이터 적재 및 처리 성능 극대화 서론 산업 현장의 생산성 향상을 위해 인공지능, ML, IoT(Internet of Things) 등 다양한 기술이 융합된 자율화된 공장을 통해 위해 설비의 고장이나 이상을 예측하고 생산성 향상을 위해 스마트 팩토리 도입 추진이 가속되고 있습니다. 하지만 반도체와 같은 제조 현장에서 비정상적 이벤트 감지를 통해 수율증대, 예지 정비 등의 생산 효율성과 안전성 등을 높이기 위한 ML/딥러닝 모델 적용을 하는데 있어 생산 현장에서 발생되는 센서 데이터의 양이 폭발적으로 증가하고 있어 이를 실시간으로 모델에 제공하고 이를 분석하는데 많은 기업들이 한계에 봉착하여 많은 고민과 다양한 시도를 하고 있는 것이 현실입니다. 이에 SingleStore를 통해 실시간으로 데이터를 적재하고 적재된 데이터를 실시간으로 분석.. 2019. 8. 6.
실시간 데이터 분석을 위한 SingleStore와 Looker(BI) 사용 SingleStore는 빠르고 확장 가능한 SQL 데이터베이스입니다. Looker는 빠르고 확장 가능한 분석 플랫폼입니다. SingleStore 및 Looker를 사용하여 광범위한 데이터 수집, 트랜잭션 처리 및 분석 요구 사항에서 원활하게 작동하는 빠르고 확장 가능한 분석 솔루션을 만들 수 있습니다. SingleStore와 Looker는 모두 유연하고 강력한 도구입니다. 완벽한 ANSI SQL 지원을 제공하는 SingleStore는 광범위한 분석 도구와 함께 작동 할 수 있습니다. Looker의 경우 모든 SQL 데이터 소스에 연결할 수 있으므로 수많은 데이터베이스에서 잘 작동합니다. Looker는 또한 데이터베이스 인터페이스를 최적화하여 아래에서 볼 수 있듯이 특정 데이터베이스 기능을 활용합니다. ​.. 2019. 8. 6.
[사례 연구, Medaxion] SingleStore을 통해 의료 분야에 실시간 의사 결정 지원 Medaxion은 의료와 그 외의 분야에 걸쳐 기업이 어려워하고 문제가 되는 분석에 대한 해결책을 찾아냈습니다. Medaxion의 CTO인 존 터프스(John Toups)는 그것을 이렇게 설명을 합니다. "분석을 위한 Looker(BI 툴)의 표현 용이성과 추상화, 그리고 BI 뒤에 있는 SingleStore DBMS의 기술력과 결합시킴으로써 우리는 이제 의료 분야에서 최고의 분석을 수행 할 수 있게 되었습니다." Medaxion은 그것의 핵심 고객인 마취 전문의의 근무 시간을 바꾸었습니다. 이러한 고도로 숙련된 전문가들은 매일 절대적으로 중요한 의료 서비스를 제공해야하고 또한 까다로운 비즈니스 요구 사항을 충족시켜야 합니다. 터프스에 따르면, 매번 문제를 일으키던 이 남녀들은 "Looker와 Singl.. 2019. 8. 6.

티스토리툴바