이 웨비나에서 SingleStore의 마이크 보야스키는 실시간 이상거래 탐지가 은행의 주요 디지털 이니셔티브를 어떻게 대표하는지에 대해 설명을 합니다. 그는 어떻게 SingleStore가 이상거래 탐지(Fraud Detection System, FDS) 서비스에 실시간 분석, 빠른 수집, 실시간 스코어링 그리고 더 광범위한 이벤트에 대한 빠른 응답 속도를 제공하지를 보여줍니다. 또한 미국의 한 메이저 은행이 이 방식으로 구축한 이상거래 탐지에 대한 사례도 별도로 설명을 합니다.
이 웨비나는 SingleStore의 웨비나 시리즈인 How Data Innovation is Transformating Banking의 일부로 제공되었습니다. 이 시리즈는 다음과 같은 세 개의 블로그 게시물에 설명된 여러 웨비나를 포함합니다.
- 실시간 이상거래 탐지(FDS)를 위한 SingleStore (본 웨비나)
- 실시간 데이터기반 자산 관리 시스템 구축
- 위험 감소 및 성능 향상을 위한 포트폴리오 분석의 현대화
다음 두 가지 사례 연구도 포함됩니다.
금융 서비스 솔루션 안내서에서 SingleStore를 산업 전반에 적용할 수 있는 활용 사례와 레퍼런스 아키텍처를 포함한 금융 서비스 영역에서의 SingleStore활용에 대해서도 알아 볼 수 있습니다.
은행의 새로운 데이터 이니셔티브
은행들의 데이터 이니셔티브를 중심으로 많은 디지털 혁신이 일어나고 있습니다. 은행들은 고객들을 위한 디지털 경험으로의 전환에서 많은 가치를 발견하고 있습니다. 디지털화 작업을 통해 은행들이 새로운 서비스와 상품을 시장에 공급하여 새로운 수익원을 창출할 수 있게 합니다.
이러한 이니셔티브는 현실 세계의 이벤트와 은행이 새로운 애플리케이션을 추진하고 더 나은 결정을 내릴 수 있는 통찰력 사이에 상당한 지연 시간이 있는 기존 데이터 인프라에 압박을 가하고 있습니다. 다른 기관들과 마찬가지로 은행들은 보다 지속적인 데이터기반 활동과 의사결정을 가능하게 하기 위해 노력하고 있습니다. 그들은 변화하는 환경에 적응할 수 있는 데이터 인프라가 필요합니다.
더 많은 쿼리가 서비스 수준 계약(SLA) 범위에 들어와야 합니다. SingleStore의 한 고객은 모든 쿼리를 200밀리초 이내에 실행해야 하는데, 이는 궁극적으로 고객들에게 최고의 경험을 제공하는 것입니다. 비록 고객들은 이와 같은 혁신을 원하지만 기존 운영과 기술을 기반으로 혁신을 하고자고 합니다.
이는 기존 툴, 기존 기술( SQL 및 기타 표준 기술, 관계형 기술)과의 호환성을 유지하기 위해 이미 갖춰져 있는 것을 보강하거나 보완하는 것을 의미하며, 또한 클라우드 적용을 위한 경로를 제공해야 합니다. 따라서 멀티 클라우드나 하이브리드 클라우드 구성에서 동작하는 클라우드 네이티브 기술은 은행들이 투자하고 있는 주요 기술 영역입니다.
이상거래 탐지의 과제와 기회
이상거래 탐지의 시장은 규모가 매우 큽니다. 이 연구에서는 2018년 140억 달러에서 2024년 340억 달러로 급격하게 증가하고 있습니다. 이것은 이상거래 탐지가 매우 어려워지고 있으며 기술을 통해 해결되고 강화되어야 한다는 것을 나타냅니다. RSA는 지난 3년간 모바일 이상거래 행위가 600% 증가했다고 보고했습니다. 그래서 모바일 채널에서 더 많은 거래가 발생함에 따라 그러한 종류의 참여 경로에서 발생하는 실 이상거래 행위 건수는 증가하고 있습니다.
이상거래 형태도 매우 광범위합니다. 이상거래 행위는 온라인 결제, 내부자 거래 탐지, 신규 계정 생성, 해킹된 정보와 다른 정보를 혼합한 가짜 계정인 가상 신원 문제 등 매우 다양합니다. 비록 은행들이 이것을 완화하기가 매우 복잡하고 어려운 문제를 야기하지만 고객들에게 경쟁할 수 있는 최상의 경험을 제공하기를 원합니다. 은행들은 마찰없는 디지털 경험을 가능하게 하는 것과 기업의 자산을 보호하는 것 사이의 균형을 파악해야 합니다.
이상 거래 탐지는 분석, 이상 징후 탐지, 예측 분류나 클러스터링을 통해 탐지에 데이터를 적용할 수 있는 기능에 의해 크게 강화됩니다. 실제로 트렌젝션이 일어나는 곳에서 차단하거나 승인해야 할 대상을 식별하기 위해 적절한 모델과 분석 기능을 식별하는 것입니다. 빅데이터를 활용하여 가장 적합한 모델을 찾고, 가장 정확한 모델을 찾을 수 있는 고급 분석 기능을 보유하고 있는 것이 이상거래 탐지 기술들이 많이 존재하는 곳입니다. 이것에 대해 사용자의 카드 사용에 대해 실시간으로 카드 이상거래 여부를 확인하기 위해 하룻밤 동안의 이상거래 처리하는 은행의 이상거래 탐지 어플리케이션에 대한 사례 연구에서 보다 자세히 확인 할 수 있습니다.
SingleStore 개요
이상거래 탐지를 위해 SingleStore가 왜 훌륭한 솔루션인가? SingleStore는 스스로를 "no-limits database"라고 하는 소프트웨어 아키텍처 때문이라고 설명합니다. 궁극적으로, 분산 스케일 아웃 구조기반으로 노드 기반으로 스케일 아웃을 통해 증가하는 워크로드와 데이터 증가를 지원할 수 있는 능력을 갖고 있습니다. 또한 SingleStore는 운영 분석 어플리케이션의 일부인 실시간 수집와 지속적인 데이터 이동을 지원하는 혁신적인 잠금(lock)이 없는 아키텍처를 가지고 있습니다. 또한SingleStore는 매우 빠른 분석을 할 수 있는 운영 데이터 베이스입니다.
머신러닝과 AI는 비즈니스에 큰 가치를 제공할 수 있으므로 SingleStore를 통해 실시간 머신러닝을 활용하는 고객이 많습니다. 그리고 많은 고객들이 기존 온프라미스 아키텍처에서 클라우드로 전환하여 유연하고 적응 가능한 방식으로 이를 수행하고 있습니다. 모든 클라우드, 자체 온프라미스 인프라에 배포하고 실행할 수 있는 유연성을 제공합니다.
SingleStore의 명성은 속도, 규모, SQL을 모두 하나의 패키지로 제공한다는 것입니다. Teradata, Vertica등의 기존 DW플랫폼과 클라우드 기반 신규 DW 플랫폼을 포함한 시장의 DW 제품들 만큼 데이터를 효율적으로 수용하고, 해당 데이터에 대해 빠르게 쿼리를 실행할 수 있는 시스템으로 SingleStore를 생각하시면 됩니다.
SingleStore는 최신 기술기반에 출시가 되었습니다. 그래서 서비스 시스템을 클라우드에 구축을 할 수 있습니다. Kubernetes나 컨테이너처럼 여러분이 기대하는 모든 종류의 클라우드 네이티브 기능을 이용한 분산된 처리 방식의 장점을 통해 SingleStore가 현대적인 클라우드 기반 플랫폼에 최적의 선택이 되게 했습니다.
Q&A
Q. SingleStore는 Cassandra와 어떻게 비교됩니까?
카산드라(Cassandra)는 이상거래 탐지 시장에서 상당히 많이 사용되고 있는데, 이는 카산드라의 뛰어난 데이터 수집(ingest) 능력 때문입니다. 하지만 카산드라의 문제는 추가 고급 쿼리 로직을 통해 인사이트를 얻고자 할 때 정말 어려움을 겪는다는 것을 알게 될 것입니다. 그래서 잘 정의된 분석 기능 실행에는 괜찮을지 모르지만, 해당 분석 기능을 변경하거나 빠르게 반복하고자 한다면, 그 한계가 바로 보일 것입니다.
Cassandra 는 NoSQL 시스템입니다. 즉, Join 이나 임시(ad-hoc) 쿼리 지원, 쿼리 함수와 분석 함수를 실행할 수 있는 기능이 표준이 아니라는 것입니다. 수집 요건에 있어 SingleStore는 카산드라와 동등한 수준을 제공합니다. 그리고 SingleStore의 가장 좋은 점은 관계형 SQL 환경을 제공하다는 것입니다. 반면, 카산드라를 사용하면 고유한 사용자 정의 SQL을 통해 구현해야 함으로 해당 언어를 배워야 하는 어려움이 있습니다. 따라서 지속적으로 더 많은 분석 향상을 수행함에 따라 좀 더 복잡성이 증가 할 것입니다.
요약하면, SingleStore 플랫폼을 사용하여 카산드라(Cassandra)와 동일한 수집 성능을 얻고, 표준 SQL의 강점을 얻을 수 있다는 것입니다.
Q. SingleStore가 Kafka와 어떻게 작동을 하나요?
수집 측면에서 SingleStore는 다양한 종류의 수집 기술을 지원하는데 S3와 같은 파일 시스템과 내장된 Kafka 커넥터를 가지고 있습니다. " start pipeline" 한줄의 명령어를 통해 Kafka 토픽에서 SingleStore로 연결 지점을 자동으로 구성하고 식별할 수 있게 합니다. 매우 간단하고 쉽게 설정을 할 수 있습니다. Kafka 환경에 SingleStore에 연결하기위해 수 많은 수작업과 코딩이 필요가 없습니다.
그리고 정확히 한번의 시멘틱스(exactly-once semantics)과 매우 높은 처리량(throughput)을 확보 할 수 있고, 원한다면 스트림 중에 스코어링을 하기위해 Kafka 스트림 프로세스에 스토어드 프로시저 로직을 넣는 것과 같은 재미있는 일들을 할 수 있습니다, 또한 Kafka에서 SingleStore로 데이터 이동 시에 로직(logic)을 수행하는 것과 관련하여 상당히 고급 작업을 수행할 수 있습니다. 예를 들어, 데이터를 노드 기반 또는 특정 유형의 테이블로 적재할 위치를 식별할 수 있습니다.
Q. SingleStore를 Hadoop과 함께 사용할 수 있나요? 그리고 일반적으로 고객들은 이런 종류의 환경에서 어떻게 구현했나요?
Hadoop은 아카이브 스토리지 계층으로 점점 더 많이 사용되고 있는 것을 볼 수 있습니다. 그래서 Hadoop으로 몇 가지 일을 할 수 있습니다. 하나는 동시에 SingleStore와 Hadoop 양쪽에 데이터를 스트리밍할 수 있다는 것입니다. 이것은 고전적인 람다 스타일의 아키텍처로 SingleStore를 사용하여 최신의 실시간 데이터에 대한 분석을 수행할 수 있고, Hadoop 클러스터는 데이터 사이언스나 단순한 아카이브 스타일 분석의 다른 유형의 분석에 사용할 수 있다는 것을 의미합니다.
일부 고객들은 데이터를 Hadoop에 먼저 저장하고 HDFS 커넥터를 사용하여 HDFS에서 SingleStore로 데이터를 가져옵니다. 그리고 이것을 지속적으로 수행 할 수 있습니다. Hadoop에서 SingleStore로 직접 데이터를 스트리밍할 수 있고, 이를 통해 한 번 SingleStore에 저장한 후 스팟(Spot) 쿼리, 쿼리 세그먼트 또는 데이터 세그먼트로 이동할 수 있습니다. 그런 다음 기간이 종료되거나 프로젝트의 쿼리가 끝나면 SingleStore의 데이터를 플러시하고 모든 데이터를 HDFS에 보관할 수 있습니다.
SingleStore를 Hadoop과 함께 사용하는 방법에는 여러 가지가 있습니다. 그리고 그것은 당신이 가지고 있는 응용 프로그램 및 쿼리 요구 사항과 많은 관련이 있습니다. 하지만 이 모든 것의 핵심은 SingleStore의 HDFS 파이프라인이 매우 강력하고 Hadoop의 쿼리 성능을 가속화하기 위해 매우 일반적으로 사용된다는 것입니다. 멋진 관계형 SQL 구조와 원하는 모든 대화형 쿼리 응답 속도를 얻을 수 있습니다.
결론
SingleStore를 무료로 다운로드할 수 있습니다. 이 버젼은 SingleStore제품의 무기한 사용 버전입니다. 프로덕션에 배포하여 사용할 수 있습니다. 물론 그 규모와 설치 노드 수에 의해 제한이 되지만, 그것만으로도 많은 것을 할 수 있을 것입니다. 그런 다음 커뮤니티 중심의 SingleStore 포럼에서 SingleStore의 직원들의 지원을 받을 수 있습니다.
August 21, 2019
출처: https://www.singlestore.com/blog/webinar-real-time-fraud-detection/
Webinar: Real-Time Fraud Detection for an Improved User Experience
This webinar features an in-depth description as to how SingleStore is well-suited for real-time fraud detection. Overnight and other batch technques no longer suffice for banks and others. Learn more in this webinar.
www.singlestore.com
※www.a-platform.biz | info@a-platform.biz
'SingleStoreDB > 웨비나' 카테고리의 다른 글
| SingleStore, 분석과 트랜젝션 워크로드가 동시에 가능한 세계 유일의 하이브리드 멀티클라우드임을 발표 (0) | 2021.07.28 |
|---|---|
| 싱글스토어(SingleStore), 파이낸셜 타임즈에 의해 2021년 아메리카에서 가장 빠르게 성장하는 기업 중 하나로 인정받다! (0) | 2021.04.30 |
| Webinar: ML/AI 운영 시대의 데이터 레이크(Data Lake)의 발전 (0) | 2019.08.19 |
| Webinar: 시계열 데이터에 적합한 데이터베이스 선택 (0) | 2019.08.12 |
| Webinar: SingleStore로 예측 및 ML 애플리케이션 운영 (0) | 2019.08.12 |
