에이플랫폼76 ML을 위한 3가지 SingleStore 활용 영역 머신러닝이란? 머신러닝(ML)은 트레이닝 데이터에서 자동으로 작성되거나 "학습된" 분석 모델을 사용하여 데이터를 분석하는 방법입니다. 그 아이디어는 더 많은 데이터 포인트를 공급할수록 모델이 더 좋아져서 알고리즘이 시간이 지남에 따라 자동적으로 더 나아질 수 있게 한다는 것입니다. 머신러닝에는 학습(Training) 및 운영(Operationalization) 두 단계가 있습니다. 트레이닝은 이미 많이 알고 있는 데이터 셋(트레이닝 셋라고 함)를 확보하고, 패턴을 찾기 위해 데이터 셋를 탐색하여 모델을 개발합니다. 모델을 개발하면 운영화 단계로 넘어갑니다. 모델을 운영 시스템(Production System)에 배포(Deployment)하여 새로운 데이터를 스코어링하고, 시스템은 사용자에게 결과 값을.. 2019. 8. 6. [사례 연구, Katoni] 성능, 확장성과 native SQL 지원을 통한 복잡한 쿼리 처리를 위해 Elasticsearch를 SingleStore로 교체 SingleStore는 작년 11월에 최대 4 개의 노드까지 커뮤니티 버젼을 통해 자유롭게 사용할 수 있게 되어서 SingleStore를 보다 새롭고 창조적으로 사용 할 수 있게 되었습니다. 가장 인상적인 구현 사례 중 하나는 카토니(Katoni)입니다. 카토니는 스칸디나비아의 대부분의 고객을 대상으로 SaaS형태로 SEO 툴을 제공하는 전자 상거래 허브입니다. 카토니는 SingleStore 속도, 확장성 및 Native SQL 지원 능력을 통해 복잡한 쿼리 처리를 위해 Elasticsearch를 SingleStore로 대체하였습니다. SingleSotre는 현재 Katoni의 SEO 툴의 SaaS suite을 지원하는 메인 데이터베이스입니다. SingleSotre는 프로젝트, 사용자와 청구 등의 특정 .. 2019. 8. 2. [사례 연구, Uber] 실시간 분석을 지원하는 확장형 SQL 데이터베이스(SingleStore) 우버(Uber) 시스템은 분석을 기반으로 구동됩니다. 지금까지 가장 빠르게 성장하고 있는 기업인 우버는 최신의 데이터를 사용하여 고객을 유치하고, 운전자를 직접 안내하며, 응답 시간을 1초 이내로 제공하는 데이터베이스에서 비즈니스를 운영하고 있습니다. 이 프레젠테이션에서 우버의 James Burkhart는 기업 성장에 있어서 중요한 문제였던 지연 시간 문제를 해결하는데 SingleStore가 어떻게 도움이 되었는지 설명합니다. 여기에서 설명하는 주요 사항을 확인한 후 Strata + Hadoop World 2017의 프레젠테이션을 보고 Slideshare에 관련 슬라이드를 검토해보시기 바랍니다. https://www.youtube.com/watch?v=XSXvPNEykb4 Uber Analytics.. 2019. 8. 1. ML을 위한 SingleStore와 Spark의 활용 샌프란시스코에서 열린 스파크 서밋(Spark Summit)에서 전 세계에 설치된 20만 개의 풍력 터빈에 200만 개 이상의 센서로부터 데이터를 처리하고 분석하는 PowerStream 쇼케이스 애플리케이션을 조명해 봤습니다. 당사의 PowerStream 엔지니어인 John Bowler와 함께 SingleStore와 Apache Spark 솔루션의 통합에 대한 그의 작업 내용에 대해 논의 했습니다. SingleStore와 Spark은 무슨 관계가 있나? 그 핵심으로 SingleStore는 데이터베이스 엔진이고, Spark는 데이터를 변환하기 위해 코드를 작성하는 강력한 옵션입니다. Spark는 SingleStore에 데이터가 도착하기 전이나 후에 데이터에 대해 임의 연산을 실행하는 툴입니다. Sin.. 2019. 8. 1. 운영 분석(Operational Analytics)의 필요성 예측 분석, 머신 러닝 및 운영 인공 지능의 증가뿐만 아니라 실시간 응용 프로그램을 강화하기 위한 스트리밍 분석과 즉각적인 의사 결정의 확산으로 인해 새로운 유형의 데이터베이스 워크로드에 대한 요구 사항 인 운영 분석(Operational analytics)이 도입되었습니다. 서로 분리된 트랜잭션과 분석의 두 세계는 데이터가 조직의 가장 귀중한 자산이 되기 전의 유물이다. 운영 분석은 최신 기업의 경쟁 우위를 확보하는 데 필수적인 새로운 데이터베이스 요구사항 및 시스템 요구사항입니다. 이 새로운 접근법은 "지속적인 분석"이라는 이름으로 2019 년, Top 10 기술로 Gartner에 의해 요구되었습니다 . 운영 분석을 대규모로 제공하는 것은 실시간 대시 보드, 예측 분석, 기계 학습 및 차별.. 2019. 7. 25. SingleStore, Apache Spark 연동 실습 - Count 예제 Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux SingleStore(MemSQL) : Version 6.0 이상 Spark : spark-2.4.3-bin-hadoop2.7 SBT : Version 1.2.8 파트 1 : SingleStore 데이터베이스, 테이블 및 데이터 생성 SingleStore에서 다음과 같이 데이터베이스 및 테이블을 생성하고 데이터를 입력합니다. CREATE DATABASE quickstart_kafka; USE quickstart_kafka; CREATE TABLE sensor_data_table(id text); INSERT INTO sensor_data_table(id) VAL.. 2019. 7. 25. SingleStore, Apache Spark 연동 개요 정확히 한 번 시맨틱(exactly-once semantics)을 가진 운영 유연성(operational flexibility)을 위해 Kafka, Spark, SingleStore Pipeline 및 Stored procedures를 사용하십시오. Spark Connector SingleStore(MemSQL) Spark Connector는 Apache Spark 2.0 및 2.1과 통합되며 데이터베이스 테이블 및 Spark DataFrames에서 데이터로드 및 추출을 지원합니다. GitHub 저장소 에서 Spark Connector를 다운로드 할 수 있습니다. Spark Connector에 대한 스칼라 참조 문서는 하단의 링크를 통해 볼 수 있습니다. (https://docs.sing.. 2019. 7. 25. SingleStore, Apache Kafka 연동 실습 - Quickstart Kafka Pipelines Quickstart Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux Docker : 버전 1.12 이상. Mac OS X을 사용하는 경우. 이 지침은 Docker for Mac 용으로 작성되었습니다. Docker Toolbox도 호환되지만 지침은 제공되지 않습니다. 파트 1 : Docker에서 Kafka 클러스터 실행 Docker 허브 에서는 Kafka에 대한 다양한 Docker 이미지를 사용할 수 있지만 테스트 목적으로는 가장 좋은 방법 중 하나가 memsql/kafka가 있습니다. 이 이미지는 Kafka와 Zookeeper가 모두 사전 설정되어 제공되므로 편리합니다. 터미.. 2019. 7. 24. SingleStore, Apache Kafka 연동 개요 Introduction 세계는 디지털 변환으로 가득 차 있으며, 연결된 모든 장치(Device)의 중심에서 기업용 애플리케이션(Enterprise applications)으로 가는 모든 방법이 메시지입니다. Rise of the Message Queue 디지털 메시지의 모든 입력 및 출력에 보조를 맞추기 위해 메시지 큐가 발전했습니다. 지난 몇 년 동안 Apache Kafka가 메시지 큐 환경을 지배하게되었습니다. RabbitMQ, ZeroMQ, 물론 AWS Kinesis와 같은 유용한 메시지 큐가 있습니다. 이 가이드의 일부는 다른 메시지 큐에도 적용되지만 이 문서에서는 Kafka에 초점을 맞추고 있습니다. 카프카 기본에는 한 명 또는 여러 명의 생산자가 제공 한 데이터를 섭취하고 하나.. 2019. 7. 24. 이전 1 ··· 5 6 7 8 9 다음
