데이터에서 통찰력을 얻는 것은 더 이상 무시할 수 없는 경쟁 우위 요소입니다. 하지만 많은 기업들이 대규모의 데이터를 염두하지 않은 전통적인 데이터 기술에 기반하여 시스템을 구축했기 때문에 데이터를 최대한 활용하기가 어렵다는 것을 인식하고 있습니다.
기존의 SQL 기반 데이터베이스는 거의 모든 워크로드를 처리할 수 있었지만 그 워크로드들은 단일 노드 시스템에 적합했습니다. 이에 실시간 분석을 위해 증가하는 데이터 수요를 처리하기 위해 확장해야 하는 경우 데이터 인프라에 용도에 맞는 수많은 NoSQL 솔루션들을 도입해야 했습니다.
아래는 그림은 대표적인 데이터 아키텍처입니다. 오늘날 많은 기업들도 이와 유사한 복잡한 데이터 인프라를 다루고 있을 것입니다.
이보다 더 나은 방법으로 전 세계적으로 빠르게 성장하고 있는 수십억 달러 규모의 회사인 페네틱스(Fanatics)는 어떻게 효율적으로 구축했는지를 공유하고자 합니다.
페네틱스가 복잡성을 넘어서는 방법
라이선스 스포츠 용품의 글로벌 리더인 페네틱스는 오늘날의 온디맨드 문화에서 개별 팀의 상품을 제조와 판매하는 혁신적인 기술을 도입하여 팬들이 소매 채널에서 가장 좋아하는 팀 의류와 유니폼을 구매하는 방식을 바꾸고 있습니다.
페네틱스는 그들만의 수퍼사이트인 Fanatics.com 를 보유하고 있으며, 모든 북미 주요 스포츠 리그, 200개 이상의 프로 및 대학 팀, 그리고 세계 최대의 글로벌 축구 (soccer) 프랜차이즈들의 온라인 상점을 운영하고 있습니다. 급속하게 성장해도 페네틱스는 수익성이 있으며, 연간 매출이 20억달러를 넘는다고 합니다.
3년 전, 페네틱스는 기술 아키텍처를 전면 개편하기로 결정했습니다. 페네틱스가 전 세계적으로 여러 리그, 팀 그리고 프랜차이즈를 추가함에 따라 응답성, 신뢰성과 확장성에 대한 사용자 요구를 지속적으로 충족시켜야 했습니다. 페네틱스의 혁신적인 모바일 및 전자 상거래 플랫폼의 실시간 특성은 제품에 대한 팬의 수요가 급격하게 증가하는 선수권 대회, 플레이어 거래, 기록 경신 공연 등 스포츠 캘린더 전반에 걸쳐 계획되거나 계획되지 않은 순간 모두에 신속하게 반응할 수 있게 합니다.
페네틱스는 고립된 단일 애플리케이션에서 완전히 이벤트 중심 아키텍처로 전환했습니다. 이벤트 기반 아키텍처의 핵심에는 Kafka 기반의 메시징 백본인 Fanflow가 있습니다.
Fanflow는 온라인 상점, 모바일 상호 작용, 판매 시점 시스템에서 결제 백엔드를 통해 분석 시스템으로 이벤트를 이동하기 위해 Kafka를 사용합니다. 이벤트는 사이트의 사용자 행동 상호 교류, 사전 제안 입력, 검색, 제품 권장 사항 등을 포함합니다. 또한 카트 추가, 체크아웃, 이행, 배송과 같은 주문 수명 주기 내의 모든 상태 변경에 대해서도 이벤트가 생성이 됩니다.
동시에, 페네틱스는 기존의 방식으로는 충족되지 않는 집약적인 분석 요구를 가지고 있었습니다.
오픈 소스 분석
분석은 페네틱스의 비즈니스에 매우 중요합니다. 이 회사는 파트너와 협력하여 고객의 주문 피크와 최저를 예측하고 대응 및 이행을 해야 합니다. 팀의 승패는 달성하기 어려운 흑자를 일으킬 수 있고, 팀의 패배나 선수 트레이드는 상품 가격 인하를 초래 할 수 있습니다.
Fanflow로의 전환의 일환으로 페네틱스는 클라우드 기반 스토리지에서 실행되는 몇 가지 오픈 소스 기술을 결합한 분석 방식을 채택했습니다. 이벤트 정보가 JSON에 저장되어 나중에 페네틱스가 기존의 SQL 데이터베이스 솔루션을 평가할 때 어려움이 있었습니다.
이 회사는 실시간으로 비즈니스 KPI와 시계열 지표를 계산하면서 상태관리에 Flink와 Redis를 사용했고, 구독/주문 속성, 활동, 클릭스트림(click stream) 모델과 같은 심층 분석을 위한 Spark 어플리케이션을 만들었습니다. 페네틱스는 기본 지속성 계층과 데이터 검색 및 간소화 된 대시 보드에 Lucene 기반 인덱서를 사용했습니다.
서로 다른 사용자가 사용할 수 있는 도구와 기능이 분리되었습니다. 관리자와 경영진은 쿼리와 제한된 데이터 검색을 위해 Lucene 기반 인덱스를 사용했습니다. 데이터 과학자와 데이터 엔지니어는 Hive와 Zeppelin을 사용하여 동일한 이벤트를 보다 심층적으로 분석했습니다.
이로 인해 문제가 발생했습니다. 페네틱스의 워크플로우는 챔피언십 게임과 같이 트래픽이 많은 이벤트 중에는 매우 복잡하고 관리하기가 어려웠습니다. 비즈니스 요구 사항은 페네틱스에서 자주 진화하는데, 스키마가 일치하도록 변경되어야 했지만 이러한 변경 사항은 Lucene 기반 인덱스 생성기로 관리하기가 매우 어려웠습니다.
다양한 쿼리 플랫폼과 기본 분석 인프라를 유지 관리하면 작업을 계속하고 SLA를 충족하기 위해 많은 시간을 소비했습니다. 그래서 회사는 새로운 접근법을 결정했습니다.
SingleStore를 통한 분석 재설계
분석 문제에 대한 해결책으로, 페네틱스는 수집과 쿼리에 대한 고성능을 제공하고 쿼리와 분석 어플리케이션에 널리 사용되는 SQL 인터페이스를 제공하는 SingleStore를 채택했습니다. SingleStore는 Columnstore 엔진을 포함한 인 메모리와 디스크 기반 기술을 결합한 것입니다. 또한 SingleStore는 Apache Kafka와 JSON과의 상호운용성(interoperability)을 기본으로 제공하여 이전의 Fanatics에서 선택한 기술 스택을 지원합니다.
SingleStore는 Lucene 기반 인덱서를 대체했습니다. Spark와 Flink작업은 SQL 기반 처리로 전환되어 일관성 있고 예측 가능한 개발 라이프사이클과 SLA(Service Level Agreement)의 예측 가능성을 높일 수 있었습니다.
페네틱스 이벤트 스트림은 초당 평균 2,500개의 이벤트, 즉 하루에 400만개의 이벤트를 실행하며, SingleStore 데이터베이스는 대략 30억개의 행과 카운트까지 증가했습니다. 그러나 사용자들은 뛰어난 성능으로 여전히 임시(ad hoc) 쿼리와 스케줄링된 보고서를 실행할 수 있습니다.
이전 툴의 조합으로 페네틱스는 엔터프라이즈 소스에 걸쳐 데이터 통합을 수행할 수 없었습니다. 페네틱스는 SingleStore를 통해 그 능력을 되찾았습니다. 이 회사는 모든 엔터프라이즈 소스를 SingleStore에 수집하고 데이터를 통합하며 현재 비즈니스 현황을 포괄적으로 파악합니다.
또한 페네틱스는 단일 SQL 기반 플랫폼으로 사용자를 통합할 수 있었습니다. 이것은 SQL이 매우 널리 알려져 있기 때문에 진입 장벽을 크게 낮추어 주었습니다. 페네틱스는 더 이상 다른 사용자를 위해 다른 종류의 플랫폼을 구축할 필요가 없습니다. 개발팀은 이제 심층적인 통찰력(insight)을 얻고 셀프 서비스 분석 플랫폼, 대쉬보드 등과 같은 새로운 기능을 개발하는 데 더 많은 시간을 할애하고 있습니다.
이 팀은 주문 가시성과 같은 점점 더 많은 활용 사례를 지원하여 내부적으로 여러 고객 서비스 어플리케이션을 강화하고 있고 수많은 플랫폼을 유지하고 관리하는 것보다 데이터에서 더 깊은 통찰력을 제공하는 데 더 많은 시간을 할애할 수 있습니다.
페네틱스의 미래
기술 회사인 페네틱스는 기술, 데이터, 온디맨드 제조와 글로벌 인프라에 대한 상당한 투자를 통해 오늘날의 급속한 모바일 경제에서 앞서가고 있습니다. 이 회사는 보다 다양한 종류의 고품질 제품으로 전세계 팬들과 소매업체들의 점점 증가하는 실시간에 대한 기대를 충족시키기 위해 혁신적인 수직상거래(v-커머스) 모델을 통해 고품질 팬 기어와 의류가 신속하게 디자인, 제조, 배송되는 방식을 재창조해 왔습니다.
페네틱스는 빠르게 성장하고 있고, 세계의 스포츠 크레이즈 시장들 중 몇 곳에 사무실을 열고 제조/유통 시설을 열고 있다. 페네틱스는 세계 최고의 투자자들에 의해 지원을 받고 있으며, 가장 최근에는 역사상 최대 기술 테크 펀드 인 SoftBank의 Vision Fund는 페네틱스에 $ 1B를 투자 했으며, 페네틱스를 상거래의 미래를 형성하는데 도움을 주는 세계의 혁신적인 회사 중 하나로 꼽았습니다. 마이클 루빈 (Michael Rubin) 회장은 미디어 사이트 SportsPro에 의해 2018년 10명의 영향력자 중 하나로 선정되었습니다.
회사가 성장함에 따라 어플리케이션 아키텍처와 분석 기능을 지속적으로 개선하려는 페네틱스의 노력도 증가할 것입니다.
SingleStore의 Drew Paroski와 Fanatis의 Aatif Din을 소개하는 Strata Data 기조 연설를 보려면 클릭하십시오.
October 22, 2018
출처: https://www.singlestore.com/blog/how-fanatics-powered-their-way-to-a-better-future/
How Fanatics Powered Their Way to a Better Future
How Fanatics Powered Their Way to a Better Future
www.singlestore.com
※ www.a-platform.biz | info@a-platform.biz
'SingleStoreDB > 사례연구' 카테고리의 다른 글
| [사례 연구, Dzone] 시계열, 실시간 및 그 이상을 위한 SingleStore (0) | 2019.12.06 |
|---|---|
| 대용량 및 다차원 이미지 데이터를 SingleStore의 고성능 벡터 연산 함수로 처리하기 (0) | 2019.11.18 |
| [사례 연구, Comcast] Hadoop과 SingleStore를 활용한 실시간 스트림 처리 아키텍처 (0) | 2019.08.30 |
| [사례 연구, Tapjoy] 실시간 광고 최적화를 위해 SingleStore로 모바일 광고 플랫폼 강화 (0) | 2019.08.30 |
| [사례 연구, Diwo] SingleStore를 이용한 AI의 혁신 (0) | 2019.08.22 |
