본문 바로가기

카프카3

[사례 연구, 금융] SingleStore와 Kafka를 통한 위험 관리 성능 개선 위험 관리는 금융 세계 전체에서 매우 중요한 업무이며(다른 분야에서도 점점 더 많이) 은행, 투자자, 보험사 및 기타 금융 기관의 IT팀에게 중요한 투자 영역입니다. SingleStore는 위험 관리, 의사 결정 응용 프로그램 및 분석뿐 아니라 이상거래 탐지 및 자산 관리와 같은 관련 영역을 지원하는 데 매우 적합한 것으로 입증되었습니다. 이 사례 연구에서는 한 주요 금융 서비스 제공업체가 Oracle을 SingleStore와 Kafka로 교체하여 위험 관리 의사 결정의 성능과 개발 용이성을 어떻게 개선하였는지 살펴보겠습니다. 또한 다른 유사한 SingleStore 구현에서 배운 몇 가지 교훈도 포함하겠습니다. ​ Oracle 기반 데이터 웨어하우스의 문제점 우리와 협력하는 많은 금융 서비스 기관에서 트.. 2021. 8. 10.
[사례 연구, Pinterest] Spark로 실시간 사용자 참여를 측정하는 방법 ​ Spark 스테이지 설정 MapReduce를 대체하기 위해 Spark가 본 궤도에 오르자, 기업은 뛰어난 분산 데이터 처리 능력을 활용하기 위해 오픈 소스 프레임워크로 몰려들고 있습니다. 트래픽이 많은 웹 사이트의 인프라와 데이터 파이프라인을 관리하는 IT 리더는, 특히, 실시간 데이터를 즉시 구조화하여 이벤트 데이터를 안정적으로 캡처하고, 분석가가 즉시 조회할 수 있는 형식으로 작성하는 데 이상적인 Spark Streaming을 운영하고 있습니다. ​ 세계 최초의 비주얼 북마크 도구인 Pinterest는 Spark를 이용하는 혁신적인 기업 중 하나입니다. Pinterest는 SingleStore의 인 메모리 데이터베이스와 Spark Streaming이 잘 들어 맞는 것을 발견했으며, 이러한 도구를 .. 2020. 2. 18.
SingleStore, Apache Kafka 연동 실습 - Quickstart Kafka Pipelines Quickstart ​ ​ Prerequisites ​이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux Docker : 버전 1.12 이상. Mac OS X을 사용하는 경우. 이 지침은 Docker for Mac 용으로 작성되었습니다. Docker Toolbox도 호환되지만 지침은 제공되지 않습니다. ​ ​ 파트 1 : Docker에서 Kafka 클러스터 실행 Docker 허브 에서는 Kafka에 대한 다양한 Docker 이미지를 사용할 수 있지만 테스트 목적으로는 가장 좋은 방법 중 하나가 memsql/kafka가 있습니다. 이 이미지는 Kafka와 Zookeeper가 모두 사전 설정되어 제공되므로 편리합니다. 터미.. 2019. 7. 24.