[사례 연구, Comcast] Hadoop과 SingleStore를 활용한 실시간 스트림 처리 아키텍처

SingleStore와 Hadoop은 모두 데이터 저장소이지만 데이터 처리 및 분석 스택에서 서로 다른 역할을 수행합니다. 기업은 HDFS (Hadoop Distributed File System)를 사용하여 대량의 불변 데이터를 저장할 수 있지만 설계상으로는 거의 대부분 배치 처리에 사용됩니다. 게다가 더 빠르고 스토리지 기능이 뛰어난 새로운 실행 프레임웍인 SingleStore는 기업의 배치 처리 인터페이스로 선택된 MapReduce에게 도전장을 내고 있습니다.

---

람다(Lamda) 아키텍처

​

많은 SingleStore 고객들이 람다 아키넥처(LA)를 사용하여 시스템을 구축했습니다. LA는 매우 저렴한 스토리지에 대한 장기 데이데를 유지하면서, 최근의 핫 데이터가 요구하는 빠른 업데이트와 분석이 요구되는 스트림 기반 워크로드를 위한 일반적인 설계 패턴입니다. SingleStore를 실시간 경로로 사용하고 HDFS를 과거 경로로 사용하는 것은 많은 회사에서 성공적인 조합이었습니다. SingleStore는 초당 수백만 개의 스트리밍 데이터 포인트를 수집하고 처리하는 실시간 분석 서비스 계층 역할을 합니다. SingleStore는 분석가들이 SQL을 통해 운영 데이터에 즉시 액세스할 수 있도록 해줍니다. 장기적인 분석과 장기간 실행되는 배치 지향 워크플로우를 Hadoop으로 밀어넣습니다.

​

활용 사례 : Comcast의 실시간 분석

​

한 예로, SingleStore의 고객인 Comcast는 실시간 운영 분석에 중점을 두고 있었습니다. Comcast는 SingleStore와 Hadoop을 함께 사용함으로써 실시간 인텔리전스의 잠재적인 문제를 사전에 진단하고 가능한 최상의 비디오 경험을 제공할 수 있습니다. 그들의 Lambda 아키텍처는 하나의 데이터 복제본을 SingleStore 인스턴스에 쓰고 다른 하나는 Hadoop에 씁니다.

SingleStore를 통해 Comcast는 변경되는 대규모 데이터 셋에 대해 매우 빠른 실시간 분석을 실행하고 분석 인프라의 전반적 성능을 향상시킵니다. SingleStore는 모든 Xfinity 데이터를 로깅하고 몇 시간 또는 며칠 후에 분석하는 대신 Comcast에게 시청률과 인프라 모니터링 지표를 실시간으로 제공할 수 있는 기능을 제공합니다. HDFS는 머신러닝과 기타 "오프라인" 분석을 실행할 수 있는 거의 무한 데이터 저장소를 제공합니다.

​

Stracast + Hadoop World에서 녹화된 세션을 보고 SingleStore가 어떻게 Comcast가 Xfinity 플랫폼을 개선하여 수백만 명의 사용자와 작업하고 많은 양의 데이터를 처리하며 동시에 실시간 고급 분석을 수행할 수 있게 했는 지에 대해 자세히 알아보시기 바랍니다.

​

https://www.youtube.com/watch?v=UWcEyT7Ddzs 

 

​

​

April 15, 2015

​

Lesia Myroshnichenko

 

---

출처: https://www.singlestore.com/blog/real-time-stream-processing-with-hadoop/

Real-Time Stream Processing Architecture with Hadoop and SingleStore

​​

​

​※ www.a-platform.biz | info@a-platform.biz