SingleStore는 빠르고 확장 가능한 SQL 데이터베이스입니다. Looker는 빠르고 확장 가능한 분석 플랫폼입니다. SingleStore 및 Looker를 사용하여 광범위한 데이터 수집, 트랜잭션 처리 및 분석 요구 사항에서 원활하게 작동하는 빠르고 확장 가능한 분석 솔루션을 만들 수 있습니다.
SingleStore와 Looker는 모두 유연하고 강력한 도구입니다. 완벽한 ANSI SQL 지원을 제공하는 SingleStore는 광범위한 분석 도구와 함께 작동 할 수 있습니다. Looker의 경우 모든 SQL 데이터 소스에 연결할 수 있으므로 수많은 데이터베이스에서 잘 작동합니다. Looker는 또한 데이터베이스 인터페이스를 최적화하여 아래에서 볼 수 있듯이 특정 데이터베이스 기능을 활용합니다.
SingleStore와 Looker가 함께 결합되면 일관되고 구체적인 결과를 제공합니다. 예를 들어 실시간 분석을 위한 가장 인기있는 응용 프로그램 중 하나는 실시간 대시 보드를 만드는 것 입니다. 기존 아키텍처에서 SingleStore와 Looker를 처음으로 구현하는 것보다 더 쉽고 효과적인 대시 보드를 만드는 방법이 없을 수 있습니다. Looker를 사용하여 대시 보드를 쉽게 만들 수 있으며 SingleStore를 사용하여 빠르게 만들 수 있습니다.
SingleStore 및 Looker로 분석 가속화
기존 데이터 아키텍처에서 Looker와 SingleStore를 함께 사용하면 데이터 액세스가 훨씬 쉬워지고 성능이 크게 향상됩니다. SingleStore는 경쟁 솔루션보다 빠릅니다. 종종 비용의 절반으로 2 배나 빠릅니다. 또한 SingleStore를 사용하여 기존 SQL 또는 NoSQL 데이터베이스가 현재 수행 한 작업의 일부 또는 전부를 수행 할 수 있으므로 성능이 향상됩니다.
분석 성능 속도를 높이기 위해 SingleStore를 사용하는 조직의 확실한 예는 온라인 소매 회사 Fanatics입니다. Fanatics는 맨체스터 유나이티드와 같은 글로벌 브랜드와 함께 NBA 및 NFL을 포함한 세계 최고의 스포츠 팀을 위해 브랜드 상품을 공급하고 판매합니다. Fanatics는 SingleStore를 사용 하여 응용 프로그램, 비즈니스 인텔리전스 (BI) 도구 및 특별 SQL 쿼리를 비롯한 모든 분석 요구에 대해 빠르고 안정적인 데이터 아키텍처를 만듭니다 .
Looker는 기존 BI 및 분석 도구와 함께 사용할 수도 있습니다. Looker를 사용하면 LookML 모델링 계층 덕분에 고성능 SQL 쿼리 성능과 사용 편의성을 얻을 수 있습니다. Looker를 구현하면 조직에서 진정한 데이터 문화를 창출하고 육성할 수 있습니다.
이 작업을 수행한 회사 중 하나는 Kollective로, ExxonMobil, HSBC 및 T-Mobile과 같은 Fortune 500의 대 기업을 비롯한 광범위한 고객에게 비디오 컨텐츠를 배포 해야하는 까다로운 작업을 수행하고 있습니다. Kollective는 SingleStore와 Looker를 선택하고 실시간 분석을 위해 도구를 함께 사용합니다. 사례 연구를 읽거나 두 회사의 사람들이 발표 한 공동 웹 세미나를 시청 할 수 있습니다 .
또한 SingleStore를 사용하여 기존 데이터베이스 유형(트랜잭션 및 분석)을 단일 통합 데이터베이스인 SingleStore로 대체 할 수 있습니다. 이렇게하면 전체 데이터 흐름에서 기존 배치 로딩 및 ETL (추출, 변환 및로드) 프로세스가 제거됩니다. 이러한 변경으로 Looker를 포함한 앱 및 분석 도구가 소스 데이터에 더 가깝습니다. 적절하게 설계된 솔루션을 사용하면 거의 실시간 또는 실시간 분석을 수행할 수 있습니다.
SingleStore와 Looker는 함께 훨씬 광범위한 데이터 액세스를 지원합니다. 데이터를보다 쉽게 액세스 할 수있게 함으로써 Looker는 데이터를 파고 드는 사람들의 수와 액세스 빈도를 늘립니다. SingleStore는 뛰어난 성능과 높은 동시성으로 기여합니다. 확장 가능한 SQL 데이터베이스인 SingleStore를 사용하면 필요한 성능을 원하는 모든 사용자에게 필요한만큼의 하드웨어로 데이터에 전원을 공급할 수 있습니다.
Looker 's Pocket Guide to Databases의 Looker는 이러한 종류의 솔루션을 제공하는 SingleStore의 고유한 기능을 언급합니다. Looker는 SingleStore를 다음과 같은 데이터베이스로 설명합니다.
· 주로 트랜잭션에 주로 사용되는 Rowstore 기능과 분석에 주로 사용되는 Columnstore에 의해 구동됩니다.
· MPP(대규모 병렬 처리) 데이터베이스로 여러 노드에서 원활하게 확장할 수 있습니다.
· 자체 관리(사내 구축) MPP 데이터베이스 및 온 디맨드(클라우드) MPP 데이터베이스
Looker와 잘 작동하도록 SingleStore 설정
일반적인 "소규모" SingleStore 구현에는 2 개의 Aggregator 노드, 4 개의 Leaf 노드, 128GB RAM, 그리고 혼합된 Rowstore 저장소 및 Columnstore 데이터를 사용하여 최대 테라 바이트 정도의 총 데이터가 있습니다. 더 많은 양의 데이터를 지원하기 위해 노드를 추가합니다.
초기 구현에서 SingleStore는 매우 빠른 Rowstore의 인 메모리 데이터베이스로 작동했습니다. 몇 년 전에 SingleStore는 Columnstore 기능을 추가했습니다. 강력한 기능을 갖춘 데이터를 비롯한 데이터를 디스크에 저장하고 컬럼 스토어를 통해 캐시로 사용하기 위해 전용 RAM을 추가했습니다.
SingleStore는 하나의 Rowstore와 Columnstore 데이터베이스로 작동하므로 대부분의 작업은 메모리 내 속도 또는 그 근처에서 진행됩니다. 이를 통해 Looker에 제시된 데이터를 디스크 기반 시스템에 가까운 비용으로 거의 실시간 분석으로 표시할 수 있습니다.
최근에 SingleStore는 반정형화된 데이터에 대한 지원을 추가했습니다. 지리 공간 데이터, JSON 데이터 및 AVRO 데이터 (JSON 기반의 특수한 압축 형식)는 모두 지원되고 관리가 쉬우며 완전히 정형화된 데이터와 매우 유사한 성능을 제공합니다.
SingleStore가 Looker와 잘 작동하도록 하기 위해 특별한 작업을 수행할 필요는 없습니다. 실제로 Looker는 SingleStore의 기능을 최대한 활용하도록 설계되었습니다.
Looker는 SingleStore의 반정형화된 데이터 형식을 지원합니다. 데이터를 분석에 사용할 수 있도록 하기 위해 사용을 제한할 필요는 없으며 분석 도구인 Looker가 반정형화 된 데이터를 사용한다고 걱정할 필요가 없습니다. (데이터를 이용하려면 먼저 관계형 형식으로 데이터를 스키마화 해야합니다.) 저장하는 특정 데이터와 쿼리에 적합한 방식으로 데이터를 저장하고 관리 할 수 있습니다.
둘째, Looker는 Rowstore 및 Columnstore 데이터를 유연하게 사용할 수 있습니다. 이를 통해 분석 프로그램의 요구에 대한 걱정없이 둘 중 하나 또는 둘 모두의 사용을 최대화 할 수 있습니다. 예를 들어 속도에 대한 필요성이 실제로 느껴지면 SingleStore 데이터를 메모리에 더 많이 저장할 수 있습니다. Rowstore 형식으로 저장 합니다. 그런 다음 Looker가 일반적으로 Columnstore 데이터에 대해서만 잘 작동하는 쿼리를 효율적으로 실행하는 데 필요한 작업을 수행하도록 할 수 있습니다.
SingleStore와 잘 작동하도록 Looker 설정
SingleStore와 함께 Looker를 사용하면 얻을 수 있는 이점 중 하나는 Looker가 SingleStore "가져온다"는 것입니다. Looker는 Rowstore 및 Columnstore 테이블에서 원활하고 잘 작동하여 탁월한 성능으로 쿼리를 생성하는 사람과 응용 프로그램의 구현 세부 정보를 숨깁니다.
Looker에는 MySQL과 밀접하게 호환되는 MySQL, Clustrix, MariaDB 및 SingleStore 데이터베이스와 함께 사용하기 위한 특정 설정 지침이 있습니다. 이러한 모든 데이터베이스의 경우 영구 또는 일반 파생 테이블을 사용하도록 설정할 수 있습니다. 파생 테이블은 LookML에서 더 많은 기능을 제공하고 SQL 쿼리의 성능을 향상시킬 수 있는 강력한 도구입니다.
Looker와 SingleStores는 함께 사용자가 SingleStore를 포함하여 SQL을 지원하는 데이터베이스를 사용할 때의 문제를 해결하는 데 도움을 줍니다. 문제는 데이터베이스에 최적화된 SQL을 쉽게 생성하는 것입니다.
Looker와 SingleStore를 함께 사용하면 다음 네 가지 옵션이 있습니다.
자신의 SQL을 작성하십시오. 많은 사람들이 SQL에 능통하여 간단한 질의를 위한 쉬운 옵션입니다.
LookML이 당신을 위해 SQL을 생성하도록 하십시오 . Looker는 LookML의 모델링 레이어에서 데이터베이스를 쿼리하고이를 위해 최적화 된 고성능 SQL 쿼리를 생성합니다.
Looker 's SQL Runner를 사용 하여 쿼리를 최적화 하십시오. SQL Runner는 파생 테이블을 테스트하는 기능을 포함하여 다양한 기능을 제공합니다.
SingleStore Studio 및 SingleStore의 Command-line tools를 사용 하십시오. 이러한 도구를 사용하면 임시 SQL 쿼리(위의 1 번), Looker(위의 2 번 및 3 번) 및 머신 러닝 및 AI를 포함한 다른 소스에서 생성된 쿼리에 대해 최대 성능을 발휘하도록 데이터베이스를 프로파일링하고 최적화할 수 있습니다.
참고: Looker에 의해 LookML에서 생성된 코드(위의 # 2 참조)는 손으로 작성된 SQL보다 빠르게 실행될 수 있습니다. 예를 들어 Looker는 SingleStore Persistent Derived Tables 기능을 활용하여 SingleStore에서 최적화된 테이블을 생성하여 일회성 또는 반복 쿼리의 성능을 매우 빠르게 향상시킵니다.
SingleStore의 유연한 Rowstore 및 Columnstore 테이블 사용을 활용하여 여러 가지 방법으로 데이터 스토리지 선택을 최적화하여 분석 속도를 높일 수 있습니다. 예를 들어 최적의 성능을 위해 SQL의 행 스토어 테이블에 의해 전적으로 지원되는 Looker에서 대시 보드를 구성 할 수 있습니다. 또는 columnstore와 rowstore 데이터를 유연하게 혼합하여 필요한 가격 대비 성능을 목표로 할 수 있습니다.
Looker와 SingleStore를 함께 사용하여 데이터베이스 구조 및 분석 요구를 반복적으로 최적화 할 수 있습니다. 두 회사는 수 년간 협력해 왔습니다. Lookthrough를 분석 도구로 사용하여 SingleStore를 사용하여 분석 애플리케이션을 작성하는 데 대한 데모를 보려면 웹 세미나를 참조하십시오.
2019 년 2 월 23 일
출저: https://www.singlestore.com/blog/memsql-looker-real-time-analytics/
Using SingleStore and Looker for Real-Time Data Analytics - SingleStore Blog - MemSQL is Now SingleStore
MemSQL and Looker, working together, can provide you with real-time and streaming analytics and make it easy for you to create useful tools such as dashboards. Looker takes full advantage of MemSQL's capabilities to give you fast analytics access.
www.singlestore.com
※ www.a-platform.biz | info@a-platform.biz
'SingleStoreDB > 엔지니어링' 카테고리의 다른 글
| 실시간 대시 보드와 빠른 업데이트를 위한 SingleStore의 벤치 마크 (0) | 2019.08.09 |
|---|---|
| IOT(FDC)등의 초당 수억건의 시계열 데이터 적재 및 처리 성능 극대화 (0) | 2019.08.06 |
| ML을 위한 3가지 SingleStore 활용 영역 (0) | 2019.08.06 |
| 운영 분석(Operational Analytics)의 필요성 (0) | 2019.07.25 |
| SingleStore, Apache Spark 연동 실습 - Count 예제 (0) | 2019.07.25 |
