SingleStoreDB/엔지니어링31 실시간 대시 보드와 빠른 업데이트를 위한 SingleStore의 벤치 마크 최신 Upsert 벤치 마크는 통신사, ISP 및 CDN을 통한 인터넷 청구에서 중요한 사용 사례를 보여줍니다. SingleStore는 초당790 만 건의 Upsert를 달성했으며, 현재 GitHub에서 제공되는 Cassandra 벤치 마크 세부 정보 및 스크립트보다 6 배 빠릅니다. 빠른 업데이트 및 실시간 대시 보드에 대한 비즈니스 요구 기업은 데이터에서 통찰력을 원하며 정보를 보다 빨리 얻기를 원합니다. 빠르게 변화하는 데이터를 위해서는 올바른 결정을 내리기 위해 통찰력을 신속하게 수집해야합니다. IoT 원격 측정 모니터링, 모바일 네트워크 사용, 인터넷 서비스 제공 업체 (ISP) 청구 및 콘텐츠 전송 네트워크(CDN) 사용 추적과 같은 산업 응용 프로그램은 빠르게 변화하는 데이터를 사용하는 실시.. 2019. 8. 9. IOT(FDC)등의 초당 수억건의 시계열 데이터 적재 및 처리 성능 극대화 서론 산업 현장의 생산성 향상을 위해 인공지능, ML, IoT(Internet of Things) 등 다양한 기술이 융합된 자율화된 공장을 통해 위해 설비의 고장이나 이상을 예측하고 생산성 향상을 위해 스마트 팩토리 도입 추진이 가속되고 있습니다. 하지만 반도체와 같은 제조 현장에서 비정상적 이벤트 감지를 통해 수율증대, 예지 정비 등의 생산 효율성과 안전성 등을 높이기 위한 ML/딥러닝 모델 적용을 하는데 있어 생산 현장에서 발생되는 센서 데이터의 양이 폭발적으로 증가하고 있어 이를 실시간으로 모델에 제공하고 이를 분석하는데 많은 기업들이 한계에 봉착하여 많은 고민과 다양한 시도를 하고 있는 것이 현실입니다. 이에 SingleStore를 통해 실시간으로 데이터를 적재하고 적재된 데이터를 실시간으로 분석.. 2019. 8. 6. 실시간 데이터 분석을 위한 SingleStore와 Looker(BI) 사용 SingleStore는 빠르고 확장 가능한 SQL 데이터베이스입니다. Looker는 빠르고 확장 가능한 분석 플랫폼입니다. SingleStore 및 Looker를 사용하여 광범위한 데이터 수집, 트랜잭션 처리 및 분석 요구 사항에서 원활하게 작동하는 빠르고 확장 가능한 분석 솔루션을 만들 수 있습니다. SingleStore와 Looker는 모두 유연하고 강력한 도구입니다. 완벽한 ANSI SQL 지원을 제공하는 SingleStore는 광범위한 분석 도구와 함께 작동 할 수 있습니다. Looker의 경우 모든 SQL 데이터 소스에 연결할 수 있으므로 수많은 데이터베이스에서 잘 작동합니다. Looker는 또한 데이터베이스 인터페이스를 최적화하여 아래에서 볼 수 있듯이 특정 데이터베이스 기능을 활용합니다. .. 2019. 8. 6. ML을 위한 3가지 SingleStore 활용 영역 머신러닝이란? 머신러닝(ML)은 트레이닝 데이터에서 자동으로 작성되거나 "학습된" 분석 모델을 사용하여 데이터를 분석하는 방법입니다. 그 아이디어는 더 많은 데이터 포인트를 공급할수록 모델이 더 좋아져서 알고리즘이 시간이 지남에 따라 자동적으로 더 나아질 수 있게 한다는 것입니다. 머신러닝에는 학습(Training) 및 운영(Operationalization) 두 단계가 있습니다. 트레이닝은 이미 많이 알고 있는 데이터 셋(트레이닝 셋라고 함)를 확보하고, 패턴을 찾기 위해 데이터 셋를 탐색하여 모델을 개발합니다. 모델을 개발하면 운영화 단계로 넘어갑니다. 모델을 운영 시스템(Production System)에 배포(Deployment)하여 새로운 데이터를 스코어링하고, 시스템은 사용자에게 결과 값을.. 2019. 8. 6. 운영 분석(Operational Analytics)의 필요성 예측 분석, 머신 러닝 및 운영 인공 지능의 증가뿐만 아니라 실시간 응용 프로그램을 강화하기 위한 스트리밍 분석과 즉각적인 의사 결정의 확산으로 인해 새로운 유형의 데이터베이스 워크로드에 대한 요구 사항 인 운영 분석(Operational analytics)이 도입되었습니다. 서로 분리된 트랜잭션과 분석의 두 세계는 데이터가 조직의 가장 귀중한 자산이 되기 전의 유물이다. 운영 분석은 최신 기업의 경쟁 우위를 확보하는 데 필수적인 새로운 데이터베이스 요구사항 및 시스템 요구사항입니다. 이 새로운 접근법은 "지속적인 분석"이라는 이름으로 2019 년, Top 10 기술로 Gartner에 의해 요구되었습니다 . 운영 분석을 대규모로 제공하는 것은 실시간 대시 보드, 예측 분석, 기계 학습 및 차별.. 2019. 7. 25. SingleStore, Apache Spark 연동 실습 - Count 예제 Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux SingleStore(MemSQL) : Version 6.0 이상 Spark : spark-2.4.3-bin-hadoop2.7 SBT : Version 1.2.8 파트 1 : SingleStore 데이터베이스, 테이블 및 데이터 생성 SingleStore에서 다음과 같이 데이터베이스 및 테이블을 생성하고 데이터를 입력합니다. CREATE DATABASE quickstart_kafka; USE quickstart_kafka; CREATE TABLE sensor_data_table(id text); INSERT INTO sensor_data_table(id) VAL.. 2019. 7. 25. SingleStore, Apache Spark 연동 개요 정확히 한 번 시맨틱(exactly-once semantics)을 가진 운영 유연성(operational flexibility)을 위해 Kafka, Spark, SingleStore Pipeline 및 Stored procedures를 사용하십시오. Spark Connector SingleStore(MemSQL) Spark Connector는 Apache Spark 2.0 및 2.1과 통합되며 데이터베이스 테이블 및 Spark DataFrames에서 데이터로드 및 추출을 지원합니다. GitHub 저장소 에서 Spark Connector를 다운로드 할 수 있습니다. Spark Connector에 대한 스칼라 참조 문서는 하단의 링크를 통해 볼 수 있습니다. (https://docs.sing.. 2019. 7. 25. SingleStore, Apache Kafka 연동 실습 - Quickstart Kafka Pipelines Quickstart Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux Docker : 버전 1.12 이상. Mac OS X을 사용하는 경우. 이 지침은 Docker for Mac 용으로 작성되었습니다. Docker Toolbox도 호환되지만 지침은 제공되지 않습니다. 파트 1 : Docker에서 Kafka 클러스터 실행 Docker 허브 에서는 Kafka에 대한 다양한 Docker 이미지를 사용할 수 있지만 테스트 목적으로는 가장 좋은 방법 중 하나가 memsql/kafka가 있습니다. 이 이미지는 Kafka와 Zookeeper가 모두 사전 설정되어 제공되므로 편리합니다. 터미.. 2019. 7. 24. SingleStore, Apache Kafka 연동 개요 Introduction 세계는 디지털 변환으로 가득 차 있으며, 연결된 모든 장치(Device)의 중심에서 기업용 애플리케이션(Enterprise applications)으로 가는 모든 방법이 메시지입니다. Rise of the Message Queue 디지털 메시지의 모든 입력 및 출력에 보조를 맞추기 위해 메시지 큐가 발전했습니다. 지난 몇 년 동안 Apache Kafka가 메시지 큐 환경을 지배하게되었습니다. RabbitMQ, ZeroMQ, 물론 AWS Kinesis와 같은 유용한 메시지 큐가 있습니다. 이 가이드의 일부는 다른 메시지 큐에도 적용되지만 이 문서에서는 Kafka에 초점을 맞추고 있습니다. 카프카 기본에는 한 명 또는 여러 명의 생산자가 제공 한 데이터를 섭취하고 하나.. 2019. 7. 24. 이전 1 2 3 4 다음
