Kafka20 예측분석에 기반한 글로벌 공급망 관리를 위한 SingleStore 사물 인터넷(IoT)은 매일 엄청난 양의 데이터를 생성합니다. 이 데이터에 대한 실시간 분석은 오늘날의 상시 경제에서 소비자의 요구를 해결하는 데 도움이 됩니다. 공급망 관리는 IoT가 제조 산업에 미치는 영향을 보여줍니다. 차량, 선적 컨테이너 , 패키지 등 다수의 이동 부품이 데이터 소스로 기능하고 있는 가운데, 기업은 IoT 데이터를 수집하고 분석하기 위한 보다 발전된 방법이 필요합니다. 대부분의 기업은 묘사 분석(Descriptive Analysis)을 사용하지만, Gartner의 위 통계는 묘사 만으로는 더 이상 충분하지 않다고 강조합니다. 데이터 분석은 예측 분석(Predictive Analysis)으로 발전하고 있으며, 결국 이를 훨씬 넘어 처방 분석(Prescriptive Ana.. 2019. 9. 3. [사례 연구, Insite360] SingleStore 내장 파이프라인을 사용하여 클라우드에서 IoT 서비스 제공 Insite360은 연료 관리과 환경 서비스를 위한 완벽한 솔루션입니다. 주유소, 석유 제품/에너지 상품 공급 업체, 유통 업체와 구매자가 사용을 합니다. Insite360은 SaaS (Software as a Service)로 제공되며 전세계 시장의 리더입니다. Insite360은 관련 프로세스 자동화와 지속적인 모니터링을 통해 운영 효율성을 향상시키고 있습니다. Insite360에 내장된 리포팅, 고급 분석과 의사 결정 지원 도구를 사용하여 비용을 절감하고 매출을 늘리며 위험을 줄일 수 있습니다. IT 아키텍처 측면에서 Insite360은 최적 아키텍처를 향한 3 단계 프로세스의 중간에 있습니다. 첫 번째 단계에서는 운영을 클라우드로 옮겼습니다. 두 번째 단계에서는 SingleStore로 분석 속.. 2019. 8. 13. TensorFlow, Kafka 및 SingleStore를 이용한 실시간 머신러닝 스트리밍과 분류(classification)을 동시에 할 수 있는 SQL 쿼리 기반의 간단한 머신러닝 파이프라인을 구축하는 방법 TensorFlow는 최고의 머신 러닝 라이브러리 중 하나로 부상했으며 운영 데이터베이스와 결합하면 정교한 머신 러닝 워크 플로우를 신속하게 구축할 수있는 기반을 제공합니다. 이 포스팅에서는 스피드 데이트(Speed Dating) 데이터 셋을 이용한 머신러닝 워크 플로우를 살펴보기 합니다. 이 데모의 전체적인 목표는 머신이 제안해서 매칭과 사람이 직접 다른 사람의 프로필을 보고 하는 매칭과 비교하는 것입니다. 데이터 세트는 Kaggle의 스피드 데이트 실험에서 가져온 것 입니다. 워크 플로의 일부로 SingleStore 파이프 라인을 사용하여 Kafka의 데이터를 실시간으로.. 2019. 8. 9. [사례 연구, Kellogg] ETL 시간 단축(24 시간-> 수십분), BI 속도 향상(20 배) 켈로그(Kellogg) 소개 켈로그는 시리얼 생산분야에서 글로벌 선두이자, 쿠키/크래커/스낵 등의 분야에서는 세계 2위의 생산 업체이며, 냉동식품 분야에서는 북미의 선두 기업입니다. 켈로그는 2015년 매출 135억 달러를 기록하며, 21개국에서 1,600여 개 식품을 생산하고 180여 개국에 많은 브랜드를 판매하고 있습니다. 배경 고객 물류 데이터로 수익 창출 켈로그는 고객의 물류 데이터 정보를 사용하여 결정을 내리고, 쇼핑 경험 데이터를 중심으로 효율성을 개선합니다. 이러한 데이터의 정확성과 속도는 켈로그 기업의 수익과 직결됩니다. 인 메모리(in-memory) 활용으로 데이터 액세스 속도 향상 켈로그는 비즈니스 유저가 데이터를 쉽게 사용할 수 있도록 하는 것이 가장 중요한 사항이었기에 데이터 지.. 2019. 8. 8. Webinar: Kafka와 SingleStore가 지능형 실시간 애플리케이션을 제공하는 방법 Apache Kafka와 SingleStore를 함께 사용하면 지능형 실시간 애플리케이션을 생성하고 제공하는 것이 훨씬 쉬워집니다. 이 웨비나에서, SingleStore의 알렉 파월은 Kafka와 SingleStore가 각 테이블에 가져오는 밸류에 대해 논의했고, 공통의 데이터 관리 문제를 해결하기 위한 레퍼런스 아키텍처를 보여주었으며, Kafka와 SingleStore를 가지고 실시간 데이터 파이프라인을 구현하는 방법을 시연했습니다. Kafka는 공개 구독 모델에서 작동하는 오픈 소스 메시징 큐입니다. SingleStore와 같이 분산형 구조이고 내구성을 제공합니다. Kafka는 조직 전체의 데이터에 대한 사실의 출처(a source of truth)이 될 수 있습니다. 엔터프라이즈 IT를 위한 K.. 2019. 8. 8. [사례 연구, Pinterest_에너지기업] SingleStore를 통해 실시간 대쉬보드 구축 실시간 의사 결정을 가능하게 하고 향상된 고객 경험을 제공하려면 실시간 분석이 필요합니다(실시간 백서 다운로드). 실시간 애플리케이션 구축은 데이터 파이프 라인을 연결하는 것으로 시작합니다. 정보에 기반한 의사 결정을 신속하게 내리려면 애플리케이션 데이터를 빠르게 수집하고 이를 취급할 수 있는 형식으로 변환하여 저장한 후 쉽게 액세스할 수 있어야 합니다. (1 초 미만의 속도) 이 비디오에서는 이전 버전의 SingleStore가 어떻게 실시간 분석 스택의 핵심 역할을 했는지 보여줍니다. https://www.youtube.com/watch?v=gapTJYxyV2E SingleStore가 분석을 지원하는 방법 SingleStore의 분석적 접근 방식을 간단히 살펴 보겠습니다. SingleStore는 운.. 2019. 8. 8. IOT(FDC)등의 초당 수억건의 시계열 데이터 적재 및 처리 성능 극대화 서론 산업 현장의 생산성 향상을 위해 인공지능, ML, IoT(Internet of Things) 등 다양한 기술이 융합된 자율화된 공장을 통해 위해 설비의 고장이나 이상을 예측하고 생산성 향상을 위해 스마트 팩토리 도입 추진이 가속되고 있습니다. 하지만 반도체와 같은 제조 현장에서 비정상적 이벤트 감지를 통해 수율증대, 예지 정비 등의 생산 효율성과 안전성 등을 높이기 위한 ML/딥러닝 모델 적용을 하는데 있어 생산 현장에서 발생되는 센서 데이터의 양이 폭발적으로 증가하고 있어 이를 실시간으로 모델에 제공하고 이를 분석하는데 많은 기업들이 한계에 봉착하여 많은 고민과 다양한 시도를 하고 있는 것이 현실입니다. 이에 SingleStore를 통해 실시간으로 데이터를 적재하고 적재된 데이터를 실시간으로 분석.. 2019. 8. 6. [사례 연구, Uber] 실시간 분석을 지원하는 확장형 SQL 데이터베이스(SingleStore) 우버(Uber) 시스템은 분석을 기반으로 구동됩니다. 지금까지 가장 빠르게 성장하고 있는 기업인 우버는 최신의 데이터를 사용하여 고객을 유치하고, 운전자를 직접 안내하며, 응답 시간을 1초 이내로 제공하는 데이터베이스에서 비즈니스를 운영하고 있습니다. 이 프레젠테이션에서 우버의 James Burkhart는 기업 성장에 있어서 중요한 문제였던 지연 시간 문제를 해결하는데 SingleStore가 어떻게 도움이 되었는지 설명합니다. 여기에서 설명하는 주요 사항을 확인한 후 Strata + Hadoop World 2017의 프레젠테이션을 보고 Slideshare에 관련 슬라이드를 검토해보시기 바랍니다. https://www.youtube.com/watch?v=XSXvPNEykb4 Uber Analytics.. 2019. 8. 1. SingleStore, Apache Kafka 연동 실습 - Quickstart Kafka Pipelines Quickstart Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux Docker : 버전 1.12 이상. Mac OS X을 사용하는 경우. 이 지침은 Docker for Mac 용으로 작성되었습니다. Docker Toolbox도 호환되지만 지침은 제공되지 않습니다. 파트 1 : Docker에서 Kafka 클러스터 실행 Docker 허브 에서는 Kafka에 대한 다양한 Docker 이미지를 사용할 수 있지만 테스트 목적으로는 가장 좋은 방법 중 하나가 memsql/kafka가 있습니다. 이 이미지는 Kafka와 Zookeeper가 모두 사전 설정되어 제공되므로 편리합니다. 터미.. 2019. 7. 24. 이전 1 2 3 다음
