본문 바로가기
SingleStoreDB/사례연구

[사례 연구, Kellogg] ETL 시간 단축(24 시간-> 수십분), BI 속도 향상(20 배)

by 에이플랫폼 [Team SingleStore Korea] 2019. 8. 8.

켈로그(Kellogg) 소개

켈로그는 시리얼 생산분야에서 글로벌 선두이자, 쿠키/크래커/스낵 등의 분야에서는 세계 2위의 생산 업체이며, 냉동식품 분야에서는 북미의 선두 기업입니다. 켈로그는 2015년 매출 135억 달러를 기록하며, 21개국에서 1,600여 개 식품을 생산하고 180여 개국에 많은 브랜드를 판매하고 있습니다.


배경

고객 물류 데이터로 수익 창출

켈로그는 고객의 물류 데이터 정보를 사용하여 결정을 내리고, 쇼핑 경험 데이터를 중심으로 효율성을 개선합니다. 이러한 데이터의 정확성과 속도는 켈로그 기업의 수익과 직결됩니다.

인 메모리(in-memory) 활용으로 데이터 액세스 속도 향상

켈로그는 비즈니스 유저가 데이터를 쉽게 사용할 수 있도록 하는 것이 가장 중요한 사항이었기에 데이터 지연 시간 및 동시성을 개선하기 위한 인 메모리 솔루션을 모색했습니다.

켈로그는 고객 물류 데이터에 대한 접근(Access) 속도를 높이기 위해 24 시간 ETL 프로세스를 더 빠르게 수행할 수 있는 SingleStore를 선택했습니다. Kellogg의 Global Analytics 수석 설계자인 JR Cahill은 Strata + Hadoop World의 인터뷰에서 다음과 같이 말했습니다.

우리는 보다 효율적이고, 더 빠른 결정을 내리기 위해 매주가 아닌 하루에 더 많은 정보 검토를 위해 프로세스 혁신하는 방법을 찾기를 원했습니다.

결과

지연 시간(Latency)를 24 시간에서 수십분으로 단축

JR과 그의 팀은 AWS에서 SingleStore 인스턴스를 확장했고 2주만에 ETL 프로세스의 소요 시간을 평균 43분으로 줄였습니다. 게다가 SingleStore에 3년간의 아카이브 데이터를 추가하면서도 ETL 시간을 평균 43분으로 유지함으로써 기존 시스템으로는 구현할 수 없었던 위업을 달성했습니다.

그림 : 켈로그 아키텍처

외부 데이터 활용

켈로그는 추가적인 기업 데이터 주제 영역인 트위터 분석과 같은 파생 영역(3rd Party)의 데이터를 포함하기 위해 AWS와 SingleStore의 사용을 확대하였습니다. 추가 EC2 노드를 SingleStore 클러스터에 쉽게 통합할 수 있어서 켈로그가 새로운 사용자 동시성 및 데이터 볼륨을 필요로 할 때 확장할 수 있도록 지원했습니다. 또한 SingleStore는 켈로그에게 SingleStore 데이터 수집 파이프라인을 통해 AWS S3와 Kafka를 쉽게 활용할 수 있게 했습니다. 이제, 켈로그는 보다 정확한 리포팅을 위해 최신 분석에 요구되는 AWS S3 버킷과 Apache Kafka로부터 데이터를 지속적으로 수집 할 수 있게 되었습니다.

그림 : 켈로그 실시간 아키텍처

 

​Tableau에서 데이터 액세스 용이성 향상

켈로그는 Tableau를 전체적인 비즈니스 인텔리전스 및 데이터 시각화 도구로 사용하고 있습니다. Tableau와 SingleStore를 통합함으로써, 켈로그는 추출(Extraction)이 아닌 SingleStore에 직접 접근하여 시각화를 할 수 있게 되었습니다. 이로 인해 켈로그는 분석 성능을 20배 향상시켰습니다. 이는 수백 명의 비즈니스 사용자가 최신 데이터에 동시에 액세스할 수 있게 했고 결과적으로 고객 물류 데이터의 수익성을 높일 수 있었습니다.

JR은 다음과 같이 간단히 장점을 이야기 했습니다.

프로젝트마다 사업적 가치를 제공할 수 있어야합니다. 모든 비즈니스 사용자가 믿을 수 없을 정도로 반복적인 속도로 이동할 수 있는 속도와 기능을 요청하고 있기 때문에 이를 제공할 수 있어야 하며 인 메모리 기능을 통해 이를 지원할 수 있어야 합니다.

 

November 15th, 2016

Kevin White

 


출처: https://www.singlestore.com/blog/kellogg-case-study/

 

How Kellogg Reduced 24-Hour ETL to Minutes and Boosted BI Speed by 20x

Kellogg realized a 20x improvement on analytics performance with SingleStore. Get SingleStore's Kellogs case study now!

www.singlestore.com

​※ www.a-platform.biz | info@a-platform.biz