이 사례 연구는 SingleStore의 제품 관리 부사장 릭 네그린이 웨비나 세션의 일부로 발표했습니다. 릭은 주요 금융 서비스 회사가 포트폴리오 분석을 강화하기 위해 응답성을 크게 향상시키고 머신러닝 모델을 애플리케이션에 쉽게 통합하는 능력을 갖추기 위해 Oracle Exadata를 SingleStore로 어떻게 대체했는지를 설명합니다. 이 사례 연구에서는 Exadata를 사용하고 있는 은행의 디지털 인프라를 강조한 후에 조직의 요구에 대해 고려할 수 있는 레퍼런스 아키텍처로서 SingleStore의 구현을 설명하고 있습니다.
이 사례 연구는 SingleStore의 웨비나 시리즈인 How Data Innovation is Transformating Banking의 일부로 제공되었습니다. 이 시리즈는 다음과 같은 세 개의 블로그 게시물에 설명된 여러 웨비나를 포함합니다.
다음 두 가지 사례 연구도 포함됩니다.
- Exadata를 SingleStore로 대체하여 포트폴리오 분석 및 머신러닝 강화 (본 사례 연구)
- 머신러닝기반 실시간 이상거래 탐지(미국 메이저 은행)
금융 서비스 솔루션 안내서에서 SingleStore를 산업 전반에 적용할 수 있는 활용 사례와 레퍼런스 아키텍처를 포함한 금융 서비스 영역에서의 SingelStore 활용에 대해서도 알아 볼 수 있습니다.
사례 연구, Before: ETL, Exadata 및 RAC를 사용한 기존 아키텍처
이 사례 연구는 자산 관리 기업을 설명합니다. 직원 수는 약 천 명에 달하며 자산 관리 규모는 약 5 조 달러 미만인 상당히 큰 자산 관리 기업입니다. 그들은 수십 년 동안 비즈니스를 해왔습니다. 그들은 다양한 기술들, 주로 다양한 레거시기반 데이터베이스 기술에 대해 많은 투자를 했습니다. 한동안은 모든 비즈니가 잘 진행되었지만 새로운 요구 사항들이 들어오기 시작하고 시스템 사용자가 많아지면서 다양한 문제에 직면하기 시작했습니다.
아래는 여러분 모두에게 매우 친숙한 그들의 아키텍처입니다. 그들은 다양한 데이터 소스, 자체 내부 운영 시스템, 레거시 데이터베이스를 가지고 있습니다. 외부의 타사 데이터와 이들이 가져올 파트너 데이터와 결합을 합니다. 또한 웹과 모바일 모두에서 사용자들이 시스템을 어떻게 사용하고 있는지에 대한 활동 데이터도 있습니다. 그리고 모든 데이터는 표준 ETL (Extract, Transform and Load) 프로세스를 통해 전통적인 데이터웨어하우스로 이동되었습니다.
그리고 그 데이터는 다양한 사용자들에 의해 접근되었습니다. 사용자 정의 비즈니스 애플리케이션을 사용하고 데이터 탐색을 수행하고 해당 데이터에 대해 데이터를 준비하는 비즈니스 사용자가 있었습니다. 비즈니스 사용자 뿐만 아니라 Tableau와 Excel의 조합을 사용하여 분석을 수행하기도 합니다. 그리고 일부 데이터 사이언티스트들은 SAS를 사용하여 데이터 사이언스 및 데이터 탐색을 수행합니다. 지속적으로 모델을 발전시키려고 합니다.
이로 인해 많은 문제가 발생했습니다. 하나는 배치 ETL에 갇혀있었다는 것입니다. 처음에는 괜찮았지만, 스트리밍 시스템과 실시간으로의 전환 시도가 더 많아지면서 병목 현상이 발생했습니다. 그리고 그들이 보유한 기존 데이터베이스와 ETL 기술로 이것을 해결하는 데는 역부족이었습니다. 그들은 밤마다 새로 고치고 매시간 업데이트하는 것보다 더 자주 운영할 수 없었습니다. 이로 인해 대량의 데이터를 수집할 때마다 시스템이 오프라인 상태가 되었습니다.
게다가, 데이터 사이언티스트들이 사용하고 있던 데이터 모델은 노화되었고 이것을 발전시키는 데 매우 제한적이었습니다. 지속적인 개발을 허용하지 않았기 때문에 새로운 것을 트레이닝하고 새로운 데이터를 얻음으로써 진화하기가 어려웠습니다. 그리고 아마도 가장 고통스러운 것은 시스템을 이용하려는 사용자들이 점점 더 많아짐에 따라 쿼리가 점점 느려지고 있다는 것이었습니다. 또한 동시성이 증가함에 따라 쿼리 속도가 느려질 것입니다.
무엇보다 사람들은 9~5시까지만 아닌 항상 데이터를 사용할 수 있기를 원했습니다. 따라서 데이터가 지속적으로 로드되는 상황에도 이 시스템을 사용할 수 있기를 원합니다.
이들은 최신 하드웨어 또는 Oracle RAC와 Exadata와 같은 어플라이언스를 활용하여 이러한 새로운 과제를 해결하려고 했습니다. 하지만 해당 문제를 해결하기 위해 필요한 어플라이언스 사이즈를 고려할 때 매우 큰 비용이 발생했습니다.
이러한 문제를 해결하기 위해 기존 아키텍처를 SingleStore와 Kafka 및 Spark의 조합을 통해 다음과 같이 대체했습니다.
첫 번째 단계는 모든 ETL 기술을 Kafka 큐로 바꾸는 것이었습니다. 익숙하지 않은 분들을 위해 설명을 하면 Kafka는 인 메모리 분산 큐이고 구성, 확장 및 관리가 매우 쉽습니다. 또한 처리 대기 중인 데이터를 보관하기에 좋습니다. 따라서 이전 데이터 소스를 단일 Kafka 큐로 보내지도록 변경했습니다. 그런 다음 Kafka 큐에서 장기 저장을 위해 데이터 레이크(Data lake)뿐만 아니라 여러 개의 SingleStore 인스턴스로 데이터를 분기합니다.
또한 보안 데이터와 데이터 사이언스 샌드박스, SingleStore 인스턴스와 데이터 레이크의 일부 데이터를 조합하여 Spark 클러스터로 가져옵니다. 따라서 SingleStore과 Spark의 기본 통합 기능을 활용하여 항상 최신 마켓 데이터로 머신러닝 모델을 트레이닝함으로써 머신러닝 알고리즘을 지속적으로 발전시킬 수 있습니다. 동시에 Tableau 및 Excel에 대한 쿼리를 계속 실행하고, SAS를 계속 사용하며 이러한 접근 방식을 너무 많이 방해하지 않으면서 비즈니스 애플리케이션을 계속 실행할 수 있습니다.
결국에는 전보다 매우 높은 성능을 얻을 수 있었고 쿼리가 훨씬 빨라졌습니다. 또한 스토리지를 보다 효율적으로 사용하고 비용 효율성을 높일 수 있었기 때문에 Oracle에 저장할 수 있었던 3년간의 데이터 대비 분석을 위해 요구되는 과거 5년간의 모든 데이터를 저장할 수 있게 되었습니다. 그리고 오라클 솔루션 비용보다 3배 저렴한 비용의 규모로 이 모든 작업을 수행했습니다.
장점을 요약하면, Kafka, Spark 및 SingleStore의 조합으로 그들이 배치에서 실시간으로 이동하면서 라이브 마켓 데이터를 사용하여 지속적인 매매와 리스크 분석을 할 수 있게 되었습니다. 성능을 계속 향상시키면서 전체 비용 지출을 3배까지 절감했습니다. 또한 ML 및 운영 분석 촉진을 위한 새로운 데이터 플랫폼을 갖추게 되어 비즈니스 확장을 위해 훨씬 민첩하고 빠르게 움직일 수 있게 되었습니다.
결론
SingleStore를 무료로 다운로드할 수 있습니다. 이 제품은 시간 제약이 없이 사용할 수 있는 버전입니다. 상용 환경에 배포해서 사용할 수 있습니다. 물론 규모와 배포된 노드 수에 따라 제한되지만, 제공되는 기능으로 많은 작업을 수행할 수 있습니다. 그리고, 커뮤니티에서 운영이 되는 SingleStore 포럼에서 SingleStore의 직원들을 통해 지원을 받을 수 있습니다.
August 24th, 2019
출처: https://www.singlestore.com/blog/case-study-replacing-exadata-with-memsql-portfolio-analytics-ml/
Case Study: Replacing Exadata with SingleStore to Power Portfolio Analytics and Machine Learning
In this case study, SingleStore's Rick Negrin explains how a financial services company replaced Oracle Exadata with SingleStore to power predictive analytics and machine learning.
www.singlestore.com
※www.a-platform.biz| info@a-platform.biz
