본문 바로가기
SingleStoreDB/웨비나

Webinar: SingleStore로 예측 및 ML 애플리케이션 운영

by 에이플랫폼 [Team SingleStore Korea] 2019. 8. 12.

예측 분석, 머신 러닝 및 AI는 대화 형 쿼리와 뛰어난 고객 경험을 실시간으로 강화하여 회사의 비즈니스 방식을 변화시키는 데 사용됩니다. SingleStore는 최신 데이터에 빠르게 액세스하고, 새로운 정보와 기존 정보를 결합하는 빠른 처리 및 빠른 쿼리 응답이 필요한 고급 애플리케이션을 지원하는 데 널리 사용됩니다. 이 Webinar에서 SingleStore의 수석 제품 관리자인 Eric Hanson은 SingleStore 고객이 최신 애플리케이션에서이 빠르고 확장 가능한 SQL 데이터베이스를 어떻게 사용하고 있는지 보여줍니다. 다음, 요약을 읽고 전체 이야기를 얻을 수 있는 WebinarSlides를 확인하십시오.


개발 및 배포에 SingleStore 매핑

Eric은 머신 러닝 모델을 구축하고 실행할 때 각 단계에서 SingleStore가 어떻게 도움이되는지 설명합니다.

트레이닝 모델: 표준 SQL을 통해 데이터에 액세스하여 데이터를 학습하기위한 빠르고 확장 가능한 소스로 SingleStore를 사용할 수 있습니다. SingleStore를 사용하면 더 짧은 시간에 더 많은 트레이닝을 완료할 수 있습니다.

머신 러닝 및 AI Tool과 통합: 광범위한 머신 러닝 및 AI 도구는 SingleStore에서 직접 지원되는 MySQL 유선 프로토콜을 사용합니다. 따라서 이들은 SingleStore에도 직접 연결됩니다. 여기에는 Python 데이터 분석 라이브러리 Pandas, Scikit-learn Python 라이브러리, NumPy, R 언어, SAS 분석 및 TensorFlow 머신 러닝 플랫폼이 포함됩니다.

빠른 수집(Ingest): SingleStore는 실시간 데이터 수집 또는 광범위한 소스에서 대량 업로드를 위해 스트리밍 데이터를 허용합니다.

로드시 스코어링(Scoring): SingleStore 파이프라인을 통해 데이터를 로드 할 때 Python 스크립트 또는 사용자가 생성한 코드를 사용하여 데이터를 변환할 수 있습니다. 예를 들어 Load 프로세스 중에 기존의 Column을 이용해 "Score" Column을 매우 빠르게 계산할 수 있습니다.

이러한 기능을 함께 사용하면 개발 중에 높은 생산성과 생산에서 매우 빠른 실행을 지원합니다. 개발자는 익숙한 목적에 맞게 제작된 머신 러닝 및 AI Tool을 사용하며 프로덕션 파이프라인과 별도로 모델을 빌드하고 테스트할 수 있습니다.

프로덕션 환경에서 SingleStore의 확장성, 매우 빠른 수집 및 사전 작성된 사전 테스트 된 Python 스크립트 및 사전 컴파일된 실행 코드의 빠른 실행은 대규모의 고성능 처리를 지원합니다. 피드백 루프(Loop)가 있는 시스템은 시간에 따라 기하 급수적으로 빠른 처리 및 빠른 실행의 이점으로 큰 이점을 얻습니다.

SingleStore 기능을 머신러닝 및 AI에 매핑

SingleStore의 전반적인 철학은 기존 도구와 잘 통합되는 것이지만 머신러닝 및 AI 사용 사례를 더욱 향상시키는 몇 가지 SingleStore 기능이 있습니다. Eric은 다음과 같이 설명합니다.

확장성: 이러한 영역에서 연구 개발, 구현에 대한 지속적인 목표를 고려할 때 머신러닝 및 AI 프로그램 운영은 충분히 어렵습니다. 새 ML 파이프라인을 수요에 맞게 확장할 수 없는 경우 훨씬 더 어려워집니다. SingleStore는 수집, 트랜잭션 및 분석을 위해 완전히 배포되므로 이를 포함하여 광범위한 확장성 문제에 대한 솔루션으로 사용됩니다.

벡터 기능: SingleStore에는 벡터 유사성 매칭에 특히 유용한 몇 가지 기능이있어 복잡한 연산을 대규모로 매우 빠르게 실행할 수 있습니다. 두 벡터에 대한 DOT_PRODUCT와 두 벡터에 대한 EUCLIDEAN_DISTANCE는 매우 유용한 특정 기능입니다. 부동 소수점 숫자와 배열의 경우 JSON_ARRAY_PACK과 두 벡터의 경우 VECTOR_SUB가 유용한 지원 함수입니다.

ANSI SQL 지원: AI는 종종 비즈니스 문제와 분리된 과학적 기능으로 간주됩니다. SingleStore의 전체 ANSI SQL 지원은 운영상 매우 유용하며 AI 그룹과 비즈니스 측면을 연결하는 역할을 할 수도 있습니다.

처리시간 50ms동안 신용카드 스와이프(Swipe) 승인

수년간의 과대 광고에도 불구하고, 실제 프로덕션 머신에서 머신러닝 모델과 AI 프로그램을 구현하는 것은 아직 초기 단계입니다. 배포가 증가함에 따라 SingleStore는 광범위한 응용 프로그램에 사용되고 있습니다. Kafka 및 Spark와 같은 스트리밍 기술은 종종 활용하기 위해 필요한 데이터 흐름, 기술 및 공급 업체 관계의 변경 정도에도 불구하고 동일한 목적으로 배포됩니다.

한 예로 미국의 주요 은행이 개발한 신용 카드 이상거래 탐지 프로그램이 있습니다. 이상거래 탐지는 밤에 실행되는 배치 프로세스였으며, 도난당한 카드나 카드 데이터로 많은 불법 구매를 할 수 있었습니다. 그러나 이 은행은 스와이프에서 1 초 이내에 승인이 결정되는 on the swipe(스와이프 즉시) 이상거래 탐지 기능을 구현하고 있으며, 대부분은 데이터 전송 시간에 의해 결정됩니다. 그런 다음 SingleStore를 통해서만 70 개 기능 모델을 실시간으로 조립, 처리 및 결정할 수있었습니다.

 

 

July 27th, 2019

 

Floyd Smith

 


출처: https://www.singlestore.com/blog/webinar-machine-learning-ai-memsql/

 

Webinar: Operationalizing Predictive and ML Applications with SingleStore

Putting machine learning models and AI applications into production is easier with the rich capabilities of SingleStore as a fast, scalable SQL database.

www.singlestore.com

​※ www.a-platform.biz | info@a-platform.biz