본문 바로가기

파이프라인18

[사례 연구, Epigen] SingleStore를 통한 ML기반 안면 인식(Facial Recognition) 인프라 강화 Epigen Technology는 핵심 툴킷의 일부로 SingleStore에 크게 의존하고 있습니다. "SingleStore 없이는, 제가 하는 일을 할 수 없습니다,"라고 에피젠의 설립자인 테리 라이스는 말합니다. ​Epigen Technology는 소프트웨어를 사용하여 사이버 보안, 분석, 머신러닝, 인공 지능(AI)과 인지 컴퓨팅(cognitive computing)의 신규 분야를 포함하여 빠르게 변화하는 많은 기술 분야를 혁신하고 있습니다. 지금 에피젠은 AWS S3, SingleStore, 머신러닝, AI, 시각화를 결합한 클라우드 상에서 안면 인식 프레임워크를 개발했습니다. ​ Epigen의 설립자인 Terry Rice는 유명한 IT 컨설턴트로, 국가 안보 위협을 포함한 도전적인 문제에 대해 .. 2019. 8. 13.
[사례 연구, Insite360] SingleStore 내장 파이프라인을 사용하여 클라우드에서 IoT 서비스 제공 Insite360은 연료 관리과 환경 서비스를 위한 완벽한 솔루션입니다. 주유소, 석유 제품/에너지 상품 공급 업체, 유통 업체와 구매자가 사용을 합니다. Insite360은 SaaS (Software as a Service)로 제공되며 전세계 시장의 리더입니다. Insite360은 관련 프로세스 자동화와 지속적인 모니터링을 통해 운영 효율성을 향상시키고 있습니다. Insite360에 내장된 리포팅, 고급 분석과 의사 결정 지원 도구를 사용하여 비용을 절감하고 매출을 늘리며 위험을 줄일 수 있습니다. ​ IT 아키텍처 측면에서 Insite360은 최적 아키텍처를 향한 3 단계 프로세스의 중간에 있습니다. 첫 번째 단계에서는 운영을 클라우드로 옮겼습니다. 두 번째 단계에서는 SingleStore로 분석 속.. 2019. 8. 13.
Webinar: SingleStore로 예측 및 ML 애플리케이션 운영 예측 분석, 머신 러닝 및 AI는 대화 형 쿼리와 뛰어난 고객 경험을 실시간으로 강화하여 회사의 비즈니스 방식을 변화시키는 데 사용됩니다. SingleStore는 최신 데이터에 빠르게 액세스하고, 새로운 정보와 기존 정보를 결합하는 빠른 처리 및 빠른 쿼리 응답이 필요한 고급 애플리케이션을 지원하는 데 널리 사용됩니다. 이 Webinar에서 SingleStore의 수석 제품 관리자인 Eric Hanson은 SingleStore 고객이 최신 애플리케이션에서이 빠르고 확장 가능한 SQL 데이터베이스를 어떻게 사용하고 있는지 보여줍니다. 다음, 요약을 읽고 전체 이야기를 얻을 수 있는 Webinar 및 Slides를 확인하십시오. 개발 및 배포에 SingleStore 매핑 ​ Eric은 머신 러닝 모델을 구축.. 2019. 8. 12.
IOT(FDC)등의 초당 수억건의 시계열 데이터 적재 및 처리 성능 극대화 서론 산업 현장의 생산성 향상을 위해 인공지능, ML, IoT(Internet of Things) 등 다양한 기술이 융합된 자율화된 공장을 통해 위해 설비의 고장이나 이상을 예측하고 생산성 향상을 위해 스마트 팩토리 도입 추진이 가속되고 있습니다. 하지만 반도체와 같은 제조 현장에서 비정상적 이벤트 감지를 통해 수율증대, 예지 정비 등의 생산 효율성과 안전성 등을 높이기 위한 ML/딥러닝 모델 적용을 하는데 있어 생산 현장에서 발생되는 센서 데이터의 양이 폭발적으로 증가하고 있어 이를 실시간으로 모델에 제공하고 이를 분석하는데 많은 기업들이 한계에 봉착하여 많은 고민과 다양한 시도를 하고 있는 것이 현실입니다. 이에 SingleStore를 통해 실시간으로 데이터를 적재하고 적재된 데이터를 실시간으로 분석.. 2019. 8. 6.
ML을 위한 3가지 SingleStore 활용 영역 머신러닝이란? 머신러닝(ML)은 트레이닝 데이터에서 자동으로 작성되거나 "학습된" 분석 모델을 사용하여 데이터를 분석하는 방법입니다. 그 아이디어는 더 많은 데이터 포인트를 공급할수록 모델이 더 좋아져서 알고리즘이 시간이 지남에 따라 자동적으로 더 나아질 수 있게 한다는 것입니다. 머신러닝에는 학습(Training) 및 운영(Operationalization) 두 단계가 있습니다. ​ 트레이닝은 이미 많이 알고 있는 데이터 셋(트레이닝 셋라고 함)를 확보하고, 패턴을 찾기 위해 데이터 셋를 탐색하여 모델을 개발합니다. 모델을 개발하면 운영화 단계로 넘어갑니다. 모델을 운영 시스템(Production System)에 배포(Deployment)하여 새로운 데이터를 스코어링하고, 시스템은 사용자에게 결과 값을.. 2019. 8. 6.
ML을 위한 SingleStore와 Spark의 활용 샌프란시스코에서 열린 스파크 서밋(Spark Summit)에서 전 세계에 설치된 20만 개의 풍력 터빈에 200만 개 이상의 센서로부터 데이터를 처리하고 분석하는 PowerStream 쇼케이스 애플리케이션을 조명해 봤습니다. 당사의 PowerStream 엔지니어인 John Bowler와 함께 SingleStore와 Apache Spark 솔루션의 통합에 대한 그의 작업 내용에 대해 논의 했습니다. SingleStore와 Spark은 무슨 관계가 있나? ​ 그 핵심으로 SingleStore는 데이터베이스 엔진이고, Spark는 데이터를 변환하기 위해 코드를 작성하는 강력한 옵션입니다. Spark는 SingleStore에 데이터가 도착하기 전이나 후에 데이터에 대해 임의 연산을 실행하는 툴입니다. ​ Sin.. 2019. 8. 1.
SingleStore, Apache Kafka 연동 실습 - Quickstart Kafka Pipelines Quickstart ​ ​ Prerequisites ​이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux Docker : 버전 1.12 이상. Mac OS X을 사용하는 경우. 이 지침은 Docker for Mac 용으로 작성되었습니다. Docker Toolbox도 호환되지만 지침은 제공되지 않습니다. ​ ​ 파트 1 : Docker에서 Kafka 클러스터 실행 Docker 허브 에서는 Kafka에 대한 다양한 Docker 이미지를 사용할 수 있지만 테스트 목적으로는 가장 좋은 방법 중 하나가 memsql/kafka가 있습니다. 이 이미지는 Kafka와 Zookeeper가 모두 사전 설정되어 제공되므로 편리합니다. 터미.. 2019. 7. 24.
SingleStore, Apache Kafka 연동 개요 Introduction ​ 세계는 디지털 변환으로 가득 차 있으며, 연결된 모든 장치(Device)의 중심에서 기업용 애플리케이션(Enterprise applications)으로 가는 모든 방법이 메시지입니다. ​ Rise of the Message Queue ​디지털 메시지의 모든 입력 및 출력에 보조를 맞추기 위해 메시지 큐가 발전했습니다. 지난 몇 년 동안 Apache Kafka가 메시지 큐 환경을 지배하게되었습니다. ​ RabbitMQ, ZeroMQ, 물론 AWS Kinesis와 같은 유용한 메시지 큐가 있습니다. 이 가이드의 일부는 다른 메시지 큐에도 적용되지만 이 문서에서는 Kafka에 초점을 맞추고 있습니다. ​ 카프카 기본에는 한 명 또는 여러 명의 생산자가 제공 한 데이터를 섭취하고 하나.. 2019. 7. 24.
한눈에 SingleStore알아보기 The No-Limits Database SingleStore는 OLTP 및 OLAP 업무를 동시에 수용하며 확장이 자유로운 분산처리 관계형 데이터베이스입니다. Scale-Out을 통한 최상의 성능을 제공하며 높은 동시 사용성을 보장합니다. 대용량 데이터를 실시간 수집 및 처리가 가능하고 온 프라미스, 클라우드, VM 환경 등 다양한 환경에서 빠른 구축을 지원합니다. 확장성(Scalability) Singlestore는 OLTP 및 OLAP를 위한 스케일 아웃 관계형 데이터베이스입니다. Scale out 확장을 통한 최상의 성능 제공하며 높은 동시성을 보장합니다. 모든 노드에서 쓰기가 가능하므로 기존의 전통적인 RDB 가 지니던 한계인 쓰기 확장성을 통해 빠른 대량 데이터 로딩과 실시간 수집을 가능하게 .. 2019. 6. 24.

티스토리툴바