Apache Kafka와 SingleStore를 함께 사용하면 지능형 실시간 애플리케이션을 생성하고 제공하는 것이 훨씬 쉬워집니다. 이 웨비나에서, SingleStore의 알렉 파월은 Kafka와 SingleStore가 각 테이블에 가져오는 밸류에 대해 논의했고, 공통의 데이터 관리 문제를 해결하기 위한 레퍼런스 아키텍처를 보여주었으며, Kafka와 SingleStore를 가지고 실시간 데이터 파이프라인을 구현하는 방법을 시연했습니다.
Kafka는 공개 구독 모델에서 작동하는 오픈 소스 메시징 큐입니다. SingleStore와 같이 분산형 구조이고 내구성을 제공합니다. Kafka는 조직 전체의 데이터에 대한 사실의 출처(a source of truth)이 될 수 있습니다.
엔터프라이즈 IT를 위한 Kafka의 역할
오늘날 기업 IT는 식별하기 쉽지만 해결하기가 어려워 보이는 요인에 의해 억제되고 있습니다.
● 느린 데이터 로딩
● 긴 쿼리 실행
● 제한된 사용자 액세스
이러한 요소들은 부정적인 방식으로 상호 작용합니다. 제한된 데이터 메시징과 컴퓨팅 기능은 사용자 액세스를 제한합니다. 리포팅, 비즈니스 인텔리전스(BI) 쿼리, 애플리케이션, 머신러닝, 인공지능의 데이터 엑세스에 대한 조직의 요구 증가는 접속이 차단되거나 진행이 안되고 시스템 과부하가 심해지고 성능이 지속적으로 저하됩니다.
조직들은 기존 및 신규 공급업체에서 제공하는 이러한 문제에 대해 여러 가지 해결 방법을 시도합니다. 이 방법들은 일반적으로 복잡성이 추가되고 제한된 완화 기능을 제공하는 솔루션으로 매우 가격이 높습니다. 해당 솔루션들은 추가 CPU와 메모리, 전용 하드웨어 랙, 고가의 데이터베이스와 제한된 데이터 내구성과 SQL 커버리지가 약하면서 높은 관리 비용과 복잡성을 갖춘 캐싱 계층을 포함하고 있습니다.
NoSQL 솔루션은 빠른 수집과 확장성을 제공합니다. 그러나 그것들은 쿼리를 느리게 실행하고 심지어 기본적인 쿼리 최적화를 위해 제안한 개발자 시간을 요구하며, BI 도구와의 호환성도 좋지가 않습니다.
어떻게 SingleStore와 Kafka가 함께 동작하는가?
SingleStore는 이러한 문제를 해결하는 새로운 데이터 아키텍처를 제공합니다. NoSQL 솔루션과 달리 SingleStore는 뛰어난 성능을 제공하는 확장성과 사용하기 쉬운 SQL 아키텍처를 모두 제공합니다. SingleStore는 완전한 클라우드 네이티브 아키텍처입니다 . 이는 단지 하나 또는 두 개의 클라우드 플랫폼에 연결되어 있거나 클라우드 친화적이지 않은 대안 솔루션들과 같지 않다는 것입니다.
이 Webinar에서 알렉은 SingleStore가 작동 방식을 보여줍니다. Linux 데몬으로 실행되는 SingleStore는 완전한 분산 시스템을 제공하고 클라우드와 온 프레미스, 컨테이너 또는 가상 머신에서 실행되고 광범위한 기존 시스템들과 통합되는 클라우드 네이티브 데이터베이스입니다. SingleStore 클러스터 내에서 Aggregator 노드는 데이터베이스 클라이언트와 통신하고 스키마를 관리하며 Leaf 노드간에 작업을 공유합니다. ( 데이터베이스의 확장이 필요한 경우 마스터 Aggregator는 여러 Aggregator 노드에 대한 프런트 엔드 역할을 합니다.)
SingleStore 파이프 라인은 Kafka와 긴밀하게 통합되어 Kafka가 오랫동안 잘 알려져 있던 정확히 한 번의 시맨틱(the exactly-once semantics)을 지원합니다. SingleStore는 변경 사항을 폴링하고 새로운 데이터를 끌어들이고, 트랜잭션을 개별적으로 (정확히 한 번) 실행합니다( New Stack : Apache Kafka 1.0 의 공지 블로그 게시물 참조). 파이프 라인은 최대 성능을 위해 SingleStore 리프 노드에 직접 매핑이 됩니다.
Kafka와 SingleStore를 함께 사용하면 데이터를 실시간으로 로드할 수 있어 널리 필요하지만 거의 찾아 볼 수 없는 기능입니다. Kafka 또는 다른 인프라에서 사용되는 SingleStore는 혼합 워크로드를 처리하고 스트리밍 데이터와 동시성에 대한 강력한 요구를 포함하여 탁월한 응답성을 위해 엄격한 SLA를 충족시킵니다.
Kafka-SingleStore Q & A
활발한 Q & A 세션이 있었습니다. 여기의 질문과 답변에는 Webinar에서 처리된 내용과 시간 제약으로 인해 웨비나에서 답변 할 수 없었던 내용이 포함됩니다.
Q. Kafka와 SingleStore를 클라우드에서 실행할 수 있습니까?
A. Kafka와 SingleStore는 모두 클라우드 네이티브 소프트웨어입니다. 오늘날 SingleStore 배포의 거의 절반이 클라우드에 있습니다. 예를 들어 SingleStore는 종종 AWS S3에서 데이터를 수집하고 Redshift를 대체하는데 사용되었습니다. 클라우드의 SingleStore 점유율은 향후 빠르게 증가 할 것으로 예상됩니다.
Q. SingleStore가 Oracle을 대체 할 수 있습니까?
A. 그렇습니다. 다른 레거시 시스템도 마찬가지입니다. 그러나 많은 데이터 아키텍처의 복잡성 때문에 SingleStore가 종종 Oracle을 보강하기 위해 가장 먼저 사용됩니다. 예를 들어 고객은 CDC (Change Data Capture)를 사용하여 Oracle에서 처리한 데이터를 SingleStore에 복사합니다. 그런 다음 분석은 SingleStore에 대해 실행되고 Oracle 오프로드와 SingleStore의 빠른 성능, 우수한 가격 대비 성능, 확장성 및 분석에 대한 동시성 지원 기능을 활용합니다.
Q. 배포 규모는 얼마나됩니까?
A. 보통 수백 MB에서 PB규모로 배포합니다.
Q. SingleStore 파이프 라인을 사용하여 JSON 레코드를 구문 분석 할 수 있습니까?
A. 예. SingleStore에는 강력한 JSON 지원 기능이 있습니다.
출처: https://www.singlestore.com/blog/webinar-kafka-memsql-deliver/
Webinar: How Kafka and SingleStore Deliver Intelligent Real-Time Applications - SingleStore Blog - MemSQL is Now SingleStore
MemSQL and Apache Kafka work together fast and smoothly, simplifying your data infrastructure while adding peformance and capabilities such as scalability, durability, and exactly-once semantics. Our own Alec Powell demonstrates the creation and use of Pipelines for data delivery across Kafka and Me...
www.singlestore.com
※ www.a-platform.biz | info@a-platform.biz
'SingleStoreDB > 웨비나' 카테고리의 다른 글
| Webinar: ML/AI 운영 시대의 데이터 레이크(Data Lake)의 발전 (0) | 2019.08.19 |
|---|---|
| Webinar: 시계열 데이터에 적합한 데이터베이스 선택 (0) | 2019.08.12 |
| Webinar: SingleStore로 예측 및 ML 애플리케이션 운영 (0) | 2019.08.12 |
| [웨비나, 금융] 실시간 데이터기반 자산 관리 시스템 구축 (0) | 2019.08.12 |
| ML을 위한 SingleStore와 Spark의 활용 (0) | 2019.08.01 |
