SingleStoreDB/엔지니어링39 IOT(FDC)등의 초당 수억건의 시계열 데이터 적재 및 처리 성능 극대화 서론 산업 현장의 생산성 향상을 위해 인공지능, ML, IoT(Internet of Things) 등 다양한 기술이 융합된 자율화된 공장을 통해 위해 설비의 고장이나 이상을 예측하고 생산성 향상을 위해 스마트 팩토리 도입 추진이 가속되고 있습니다. 하지만 반도체와 같은 제조 현장에서 비정상적 이벤트 감지를 통해 수율증대, 예지 정비 등의 생산 효율성과 안전성 등을 높이기 위한 ML/딥러닝 모델 적용을 하는데 있어 생산 현장에서 발생되는 센서 데이터의 양이 폭발적으로 증가하고 있어 이를 실시간으로 모델에 제공하고 이를 분석하는데 많은 기업들이 한계에 봉착하여 많은 고민과 다양한 시도를 하고 있는 것이 현실입니다. 이에 SingleStore를 통해 실시간으로 데이터를 적재하고 적재된 데이터를 실시간으로 분석.. 2019. 8. 6. 실시간 데이터 분석을 위한 SingleStore와 Looker(BI) 사용 SingleStore는 빠르고 확장 가능한 SQL 데이터베이스입니다. Looker는 빠르고 확장 가능한 분석 플랫폼입니다. SingleStore 및 Looker를 사용하여 광범위한 데이터 수집, 트랜잭션 처리 및 분석 요구 사항에서 원활하게 작동하는 빠르고 확장 가능한 분석 솔루션을 만들 수 있습니다. SingleStore와 Looker는 모두 유연하고 강력한 도구입니다. 완벽한 ANSI SQL 지원을 제공하는 SingleStore는 광범위한 분석 도구와 함께 작동 할 수 있습니다. Looker의 경우 모든 SQL 데이터 소스에 연결할 수 있으므로 수많은 데이터베이스에서 잘 작동합니다. Looker는 또한 데이터베이스 인터페이스를 최적화하여 아래에서 볼 수 있듯이 특정 데이터베이스 기능을 활용합니다. .. 2019. 8. 6. ML을 위한 3가지 SingleStore 활용 영역 머신러닝이란? 머신러닝(ML)은 트레이닝 데이터에서 자동으로 작성되거나 "학습된" 분석 모델을 사용하여 데이터를 분석하는 방법입니다. 그 아이디어는 더 많은 데이터 포인트를 공급할수록 모델이 더 좋아져서 알고리즘이 시간이 지남에 따라 자동적으로 더 나아질 수 있게 한다는 것입니다. 머신러닝에는 학습(Training) 및 운영(Operationalization) 두 단계가 있습니다. 트레이닝은 이미 많이 알고 있는 데이터 셋(트레이닝 셋라고 함)를 확보하고, 패턴을 찾기 위해 데이터 셋를 탐색하여 모델을 개발합니다. 모델을 개발하면 운영화 단계로 넘어갑니다. 모델을 운영 시스템(Production System)에 배포(Deployment)하여 새로운 데이터를 스코어링하고, 시스템은 사용자에게 결과 값을.. 2019. 8. 6. 운영 분석(Operational Analytics)의 필요성 예측 분석, 머신 러닝 및 운영 인공 지능의 증가뿐만 아니라 실시간 응용 프로그램을 강화하기 위한 스트리밍 분석과 즉각적인 의사 결정의 확산으로 인해 새로운 유형의 데이터베이스 워크로드에 대한 요구 사항 인 운영 분석(Operational analytics)이 도입되었습니다. 서로 분리된 트랜잭션과 분석의 두 세계는 데이터가 조직의 가장 귀중한 자산이 되기 전의 유물이다. 운영 분석은 최신 기업의 경쟁 우위를 확보하는 데 필수적인 새로운 데이터베이스 요구사항 및 시스템 요구사항입니다. 이 새로운 접근법은 "지속적인 분석"이라는 이름으로 2019 년, Top 10 기술로 Gartner에 의해 요구되었습니다 . 운영 분석을 대규모로 제공하는 것은 실시간 대시 보드, 예측 분석, 기계 학습 및 차별.. 2019. 7. 25. SingleStore, Apache Spark 연동 실습 - Count 예제 Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux SingleStore(MemSQL) : Version 6.0 이상 Spark : spark-2.4.3-bin-hadoop2.7 SBT : Version 1.2.8 파트 1 : SingleStore 데이터베이스, 테이블 및 데이터 생성 SingleStore에서 다음과 같이 데이터베이스 및 테이블을 생성하고 데이터를 입력합니다. CREATE DATABASE quickstart_kafka; USE quickstart_kafka; CREATE TABLE sensor_data_table(id text); INSERT INTO sensor_data_table(id) VAL.. 2019. 7. 25. SingleStore, Apache Spark 연동 개요 정확히 한 번 시맨틱(exactly-once semantics)을 가진 운영 유연성(operational flexibility)을 위해 Kafka, Spark, SingleStore Pipeline 및 Stored procedures를 사용하십시오. Spark Connector SingleStore(MemSQL) Spark Connector는 Apache Spark 2.0 및 2.1과 통합되며 데이터베이스 테이블 및 Spark DataFrames에서 데이터로드 및 추출을 지원합니다. GitHub 저장소 에서 Spark Connector를 다운로드 할 수 있습니다. Spark Connector에 대한 스칼라 참조 문서는 하단의 링크를 통해 볼 수 있습니다. (https://docs.sing.. 2019. 7. 25. SingleStore, Apache Kafka 연동 실습 - Quickstart Kafka Pipelines Quickstart Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux Docker : 버전 1.12 이상. Mac OS X을 사용하는 경우. 이 지침은 Docker for Mac 용으로 작성되었습니다. Docker Toolbox도 호환되지만 지침은 제공되지 않습니다. 파트 1 : Docker에서 Kafka 클러스터 실행 Docker 허브 에서는 Kafka에 대한 다양한 Docker 이미지를 사용할 수 있지만 테스트 목적으로는 가장 좋은 방법 중 하나가 memsql/kafka가 있습니다. 이 이미지는 Kafka와 Zookeeper가 모두 사전 설정되어 제공되므로 편리합니다. 터미.. 2019. 7. 24. SingleStore, Apache Kafka 연동 개요 Introduction 세계는 디지털 변환으로 가득 차 있으며, 연결된 모든 장치(Device)의 중심에서 기업용 애플리케이션(Enterprise applications)으로 가는 모든 방법이 메시지입니다. Rise of the Message Queue 디지털 메시지의 모든 입력 및 출력에 보조를 맞추기 위해 메시지 큐가 발전했습니다. 지난 몇 년 동안 Apache Kafka가 메시지 큐 환경을 지배하게되었습니다. RabbitMQ, ZeroMQ, 물론 AWS Kinesis와 같은 유용한 메시지 큐가 있습니다. 이 가이드의 일부는 다른 메시지 큐에도 적용되지만 이 문서에서는 Kafka에 초점을 맞추고 있습니다. 카프카 기본에는 한 명 또는 여러 명의 생산자가 제공 한 데이터를 섭취하고 하나.. 2019. 7. 24. SingleStore, Operator for Kubernetes 출시 최근 배포한 SingleStore 보도자료 내용 공유합니다. SingleStore Operator for Kubernetes 란 Red Hat OpenShift 및 기타 Kubernetes 배포판을 사용하여 SingleStore를 쉽게 배포하고 관리 할 수있는 새로운 도구입니다. 2019 년 5 월 8 일 보스톤, 레드햇 Summit - 운영 분석 및 클라우드 고유 애플리케이션을 위한 SingleStore(No-Limits Database TM)은 Red Hat Summit 2019에서 Kubernetes로 SingleStore를 손쉽게 조정할 수있는 새로운 도구를 선보였습니다. SingleStore Kubernetes 운영자는 SingleStore 소프트웨어를 Red Hat OpenShift 및.. 2019. 7. 24. 이전 1 2 3 4 5 다음
