본문 바로가기

Kafka24

[사례 연구, Pinterest_에너지기업] SingleStore를 통해 실시간 대쉬보드 구축 실시간 의사 결정을 가능하게 하고 향상된 고객 경험을 제공하려면 실시간 분석이 필요합니다(실시간 백서 다운로드). 실시간 애플리케이션 구축은 데이터 파이프 라인을 연결하는 것으로 시작합니다. 정보에 기반한 의사 결정을 신속하게 내리려면 애플리케이션 데이터를 빠르게 수집하고 이를 취급할 수 있는 형식으로 변환하여 저장한 후 쉽게 액세스할 수 있어야 합니다. (1 초 미만의 속도) 이 비디오에서는 이전 버전의 SingleStore가 어떻게 실시간 분석 스택의 핵심 역할을 했는지 보여줍니다. ​ https://www.youtube.com/watch?v=gapTJYxyV2E SingleStore가 분석을 지원하는 방법 SingleStore의 분석적 접근 방식을 간단히 살펴 보겠습니다. SingleStore는 운.. 2019. 8. 8.
IOT(FDC)등의 초당 수억건의 시계열 데이터 적재 및 처리 성능 극대화 서론 산업 현장의 생산성 향상을 위해 인공지능, ML, IoT(Internet of Things) 등 다양한 기술이 융합된 자율화된 공장을 통해 위해 설비의 고장이나 이상을 예측하고 생산성 향상을 위해 스마트 팩토리 도입 추진이 가속되고 있습니다. 하지만 반도체와 같은 제조 현장에서 비정상적 이벤트 감지를 통해 수율증대, 예지 정비 등의 생산 효율성과 안전성 등을 높이기 위한 ML/딥러닝 모델 적용을 하는데 있어 생산 현장에서 발생되는 센서 데이터의 양이 폭발적으로 증가하고 있어 이를 실시간으로 모델에 제공하고 이를 분석하는데 많은 기업들이 한계에 봉착하여 많은 고민과 다양한 시도를 하고 있는 것이 현실입니다. 이에 SingleStore를 통해 실시간으로 데이터를 적재하고 적재된 데이터를 실시간으로 분석.. 2019. 8. 6.
[사례 연구, Uber] 실시간 분석을 지원하는 확장형 SQL 데이터베이스(SingleStore) 우버(Uber) 시스템은 분석을 기반으로 구동됩니다. 지금까지 가장 빠르게 성장하고 있는 기업인 우버는 최신의 데이터를 사용하여 고객을 유치하고, 운전자를 직접 안내하며, 응답 시간을 1초 이내로 제공하는 데이터베이스에서 비즈니스를 운영하고 있습니다. 이 프레젠테이션에서 우버의 James Burkhart는 기업 성장에 있어서 중요한 문제였던 지연 시간 문제를 해결하는데 SingleStore가 어떻게 도움이 되었는지 설명합니다. 여기에서 설명하는 주요 사항을 확인한 후 Strata + Hadoop World 2017의 프레젠테이션을 보고 Slideshare에 관련 슬라이드를 검토해보시기 바랍니다. https://www.youtube.com/watch?v=XSXvPNEykb4 ​ ​Uber Analytics.. 2019. 8. 1.
SingleStore, Apache Kafka 연동 실습 - Quickstart Kafka Pipelines Quickstart ​ ​ Prerequisites ​이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux Docker : 버전 1.12 이상. Mac OS X을 사용하는 경우. 이 지침은 Docker for Mac 용으로 작성되었습니다. Docker Toolbox도 호환되지만 지침은 제공되지 않습니다. ​ ​ 파트 1 : Docker에서 Kafka 클러스터 실행 Docker 허브 에서는 Kafka에 대한 다양한 Docker 이미지를 사용할 수 있지만 테스트 목적으로는 가장 좋은 방법 중 하나가 memsql/kafka가 있습니다. 이 이미지는 Kafka와 Zookeeper가 모두 사전 설정되어 제공되므로 편리합니다. 터미.. 2019. 7. 24.
SingleStore, Apache Kafka 연동 개요 Introduction ​ 세계는 디지털 변환으로 가득 차 있으며, 연결된 모든 장치(Device)의 중심에서 기업용 애플리케이션(Enterprise applications)으로 가는 모든 방법이 메시지입니다. ​ Rise of the Message Queue ​디지털 메시지의 모든 입력 및 출력에 보조를 맞추기 위해 메시지 큐가 발전했습니다. 지난 몇 년 동안 Apache Kafka가 메시지 큐 환경을 지배하게되었습니다. ​ RabbitMQ, ZeroMQ, 물론 AWS Kinesis와 같은 유용한 메시지 큐가 있습니다. 이 가이드의 일부는 다른 메시지 큐에도 적용되지만 이 문서에서는 Kafka에 초점을 맞추고 있습니다. ​ 카프카 기본에는 한 명 또는 여러 명의 생산자가 제공 한 데이터를 섭취하고 하나.. 2019. 7. 24.
한눈에 SingleStore알아보기 The No-Limits Database SingleStore는 OLTP 및 OLAP 업무를 동시에 수용하며 확장이 자유로운 분산처리 관계형 데이터베이스입니다. Scale-Out을 통한 최상의 성능을 제공하며 높은 동시 사용성을 보장합니다. 대용량 데이터를 실시간 수집 및 처리가 가능하고 온 프라미스, 클라우드, VM 환경 등 다양한 환경에서 빠른 구축을 지원합니다. 확장성(Scalability) Singlestore는 OLTP 및 OLAP를 위한 스케일 아웃 관계형 데이터베이스입니다. Scale out 확장을 통한 최상의 성능 제공하며 높은 동시성을 보장합니다. 모든 노드에서 쓰기가 가능하므로 기존의 전통적인 RDB 가 지니던 한계인 쓰기 확장성을 통해 빠른 대량 데이터 로딩과 실시간 수집을 가능하게 .. 2019. 6. 24.