본문 바로가기

에이플랫폼76

SingleStoreDB 성능 이야기 SingleStoreDB 를 처음 사용하게 되면서 가장 먼저 들었던 생각은 “아! 빠르다” 입니다. Oracle, MySQL, PostgreSQL 등 내노라 하는 RDBMS 에서도 왠만큼 큰 장비가 아니면 느낄 수 없는 “빠름”을 SingleStoreDB 는 그저 보통의 컴퓨팅 파워를 가지고 있는 작은 시스템에서도 쉽게 확인할 수 있습니다. 그 이유가 무엇일까요? 첫번째로 SingleStoreDB 는 Shared Nothing 구조의 분산(Distributed) DB 이기 때문입니다. SingleStoreDB Cluster 에서 Leaf 노드들이 실제적인 데이터를 나누어 저장하고 있습니다. 만일 Leaf 노드가 4대라면 각각 1/4 씩의 데이터를 균등 배분하여 저장하고 있는 셈이죠. NoSQL 의 샤딩(.. 2023. 8. 31.
SingleStoreDB Cloud 무료 사용법 가장 빠르게 SingleStoreDB 를 성능을 체험해 볼 수 있는 방법은 SingleStoreDB Cloud 에서 $500 에 해당하는 Credit 을 받아 AWS, Azure, GCP Cloud 중 원하는 곳에서 원하는 크기의 Workspace 를 생성하는 것입니다. 먼저 SingleStore Portal 에 가입하여 $500 에 해당하는 credit 을 받습니다. 가입이 되면 On-premise Server 설치 시 사용할 수 있는 License Key 도 무료로 제공됩니다. 이 License 를 가지고 총 32 vCPU, 128GB Memory 를 넘지 않는 한도 내에서 SingleStoreDB Standard 옵션 설치해 사용할 수 있습니다. ​ SingleStore Portal 에서 먼저 Wo.. 2023. 8. 31.
SingleStore Vector DB에 관한 10문 10답 ​ ​ Q1. 요즘 DB 시장에서 특수 벡터 DB의 비중이 커지고 있는데, 이 특수 벡터 DB가 무엇인가요? ​ 요즘 DB 시장에서 이 특수 벡터 DB를 빼놓고 이야기할 수가 없죠. 특수 벡터 DB는 주로 고차원의 벡터를 저장하고 검색하는 데에 특화되어 있는데, 특히 최근접 이웃 검색(nearest-neighbor search)에 많이 이용되고 있어요. 그리고 이런 DB들은 "메타데이터"라고 불리는 다른 속성들에 대해서도 어느 정도 필터링이 되긴 하지만, 일반적인 DB 시스템에서 기대하는 모든 기능을 갖추고 있지는 않아요. ​ ​ Q2. 이것을 구매한 후 기존의 데이터 아키텍처에 합치면 어떤 일이 발생하나요? ​ 음.. 과도한 데이터 이동이나 데이터 중복 현상, 그리고 분산된 컴포넌트 간의 데이터 값 불.. 2023. 8. 4.
다양한 DB를 사용할 필요 없이, SingleStore 하나면 됩니다. 데이터 인프라의 복잡성이 우리 업계에서 만연되어 있습니다. 최신 응용프로그램은 여러 개의 특수 목적 데이터 베이스를 기반으로 구축되고 있으며 제품 및 조직의 수명 기간 동안 더 많이 추가되고 있습니다. GitHub를 통해 다음과 같은 웹 애플리케이션에 대한 데이터베이스 조합을 확인할 수 있습니다.​ MySQL, MariaDB 또는 PostgreSQL과 같은 콘텐츠 저장 및 검색을 위한 기존 관계형 데이터베이스. 때로는 MongoDB 또는 Cassandra와 같은 NoSQL 데이터베이스(하지만, 실제로 그렇게 해서는 안됨). ​Redis, Memcached와 같은 콘텐츠 캐싱 또는 고속 백그라운드 작업 대기열의 상태 추적을 위한 인메모리 키-값 데이터베이스 ​Elastic 또는 시계열 데이터베이스와 같이 .. 2021. 8. 31.
[사례 연구, Handytec] SingleStore로 빠른 Geoanalytics 제공 데이터는 지속적으로 수집되고 분석됩니다. 비즈니스에서 일반적으로 차트, 그래프 또는 목록을 사용하여 데이터를 분석하여 실행 가능한 통찰력을 생성합니다. 그러나 기존 데이터 분석에서 누락된 요소가 하나 있는데, 바로 "where" 요소입니다. 이때 Geoanalytics(지오애널리틱스)가 관련성을 갖게 됩니다. ​ Geoanalytics는 데이터와 물리적 위치 간의 상관 관계입니다. 즉, 동적 가격 책정 및 운영 효율성과 같은 데이터에 대한 더 많은 통찰력을 생성할 수 있음을 의미합니다. ​ Handytec이 Geoanalytics를 제공하는 방법 Handytec은 맞춤형 빅데이터 분석 솔루션을 제공하는 에콰도르 기업입니다. 이 솔루션은 최첨단 기술과 연동되어 기업이 데이터 과학의 혁신적 기능을 채택하고 .. 2021. 8. 31.
[사례 연구, 하이테크] 주요 기술 서비스 기업의 Kafka 및 AI로의 이동 주요 기술 서비스 기업은 디지털 시대에 경쟁하기 위해 어떻게 준비하고 있습니까? 그리고, 고객의 비즈니스 전망을 크게 향상시킬 수 있는 탁월한 서비스를 제공합니까? 동시에, 복잡성을 줄이고 비용을 절감하며, 경우에 따라 SLA를 10배 이상 강화할 수 있습니까? 이러한 기업의 경우 해결책은 Kafka 및 SingleStore를 사용하여 실시간 운영 분석을 제공하는 것입니다. 이 기업에서는 데이터가 여러 데이터 저장소를 통과하고 관계형 SQL 데이터베이스에서 배치 쿼리 처리를 위해 NoSQL 데이터 저장소로 이동하고, BI, 앱 및 애드혹 쿼리를 위해 다시 SQL로 이동되었습니다. 이제 데이터는 Kafka를 통해 바로 SingleStore로 흐릅니다. Airflow는 오케스트레이션을 제공합니다. ​ Bef.. 2021. 8. 30.
[사례 연구, DailyVest] 401(k) 구축 및 애플리케이션 성능 30% 향상 401(k)과 같은 세금 혜택이 있는 퇴직적금 플랜은 일반적으로 직원을 위한 직업 혜택으로 제공됩니다. 고용주는 플랜을 후원하고 참여를 장려하기 위해 기부금 매칭과 같은 인센티브를 제공할 수 있습니다. 이러한 플랜은 인재를 유치하고 유지하는 데 중요한 도구로 작용하지만 성과가 좋은 경우에만 가능합니다. * 401(k): 미국에서 퇴직연금을 뜻하는 용어이다. 미국의 내국세입법(Internal Revenue Code) 401조 k항에 직장가입 연금이 규정되어 있기에 이와 같이 불린다. 이러한 플랜에 대한 일반적인 계좌 액세스 웹사이트에는 오래된 툴과 기술이 있으며 개인 및 회사 차원의 플랜 성과에 대한 통찰력이 부족합니다. 이러한 경험은 플랜 상태가 좋지 않고 플랜 참여가 부족하며 퇴직 준비가 되지 않은 직.. 2021. 8. 24.
[사례 연구, CME] 시카고 상업거래소를 역설계한 방법 거래소는 우리 경제 시스템의 핵심입니다. 베니스의 리알토(Rialto, 14세기), 터키의 그랜드 바자르(Grand Bazaar, 17세기), 네덜란드의 암스테르담 증권거래소(Amsterdam Bourse, 17세기), 뉴욕 증권거래소(NYSE; New York Stock Exchange, 20세기)에서 시장은 의도적으로 상품과 서비스의 구매자와 판매자가 만나 거래합니다. 이 블로그 게시물에서는 SingleStore를 핵심으로 하여 거래소를 구축한 방법을 설명합니다. 컴퓨터가 발명되고 인터넷이 널리 보급된 후 시장은 온라인이 되었습니다. 네덜란드 동인도 제도(오늘날의 인도네시아)의 향신료 상인이 약 한 달 동안 걸리던 매매는 암스테르담 증권 거래소에서 제공하는 가격 매칭을 통해 이제는 자동화된 컴퓨터 거.. 2021. 8. 24.
[사례 연구, IEX Cloud] 일 25억건의 API 요청을 평균 8ms로 응답 기존 "금융 데이터 제공" 서비스들은 현대 기술을 감안하여 구축되지 않았습니다. 그것들은 혁신적인 금융 애플리케이션을 지원하는 데 필요한 규모와 속도를 따라가지 못합니다. 너무 비싸고 제한적이며 복잡한 솔루션으로 인해 소규모 개발사는 시장에서 소외되고 있습니다. 금융 산업은 기술 현대화와 관련하여 다른 시장에 오랫동안 뒤쳐져 왔습니다. 팬데믹 이전에는 금융 서비스 조직의 55% 만이 디지털 혁신 계획을 구현하기 위한 조치를 취했습니다. 팬데믹은 많은 기업의 프로세스를 가속화하는 데 도움이 되었지만 여전히 레거시 시스템과 비효율적인 운영과 씨름해야 했습니다. ​ IEX 그룹의 IEX Cloud는 모든 사람이 양질의 금융 데이터와 서비스에 엑세스할 수 있도록 하는 혁신적인 금융 데이터 제공 플랫폼으로 이 문.. 2021. 8. 23.