머신러닝7 [사례 연구, 금융] 머신러닝기반 실시간 이상거래 탐지(미국 메이저 은행) 이 사례 연구는 SingleStore의 제품 마케팅 수석 이사인 Mike Boyarski가 웨비나 세션의 일부로 발표했습니다. Mike는 웨비나를 통해 수십 년 동안 축적된 기술 솔루션을 보유하고 있으며 오늘날의 요구 사항을 충족시키기 위해 인프라를 즉시 발전시켜야 하는 금융 서비스 기관이 직면한 과제에 대해 설명합니다. 웨비나에서도 설명되고 있습니다만, Mike는 주요 미국 은행이 SingleStore를 핵심으로 하는 새로운 스트리밍 데이터 아키텍처를 어떻게 작성했는지를 보여줍니다. SingleStore를 사용하여 이들은 머신러링 모델을 실시간으로 적용하면서 하룻밤 사이에 이루어지는 배치 이상거래 탐지 방식에서 "on the swipe"(실시간) 이상거래 탐지 방식으로 전환할 수 있었습니다. 그는 .. 2021. 8. 10. ML 플랫폼 "MindsDB"에서 SingleStore 데이터베이스를 통한 실시간 머신 러닝 SingleStore와 MindsDB는 최근 SingleStore 데이터베이스 내에서 머신러닝 혁신 추진과 머신러닝 기능을 제공하는 파트너십을 발표했습니다. SingleStore는 실시간 추론(Inference)을 지원하는 것 외에도 머신러닝을 위한 학습 성능을 향상시키는 다양한 기능들을 제공합니다. MindsDB Business Development 부사장 Erik Bovee가 게시한 이 블로그에는 이러한 흥미로운 통합에 대한 개요가 나와 있습니다. 이전 게시물에서는 데이터 계층의 머신러닝, 스트림 데이터에 대한 머신러닝 및 대량의 다변수 시계열 과 같은 어려운 머신러닝 문제 해결에 대해 살펴본 적이 있으며, SingleStore 데이터베이스는 이전에 살펴본 활용 사례의 모든 영역에서 머신러닝을 강.. 2021. 6. 29. Full-Text Search in SingleStore 오늘 SingleStore에 요청이 많았던 Full-Text Search 기능이 내장되어 있음을 공유합니다. 고객의 피드백 덕분에 real-time application을 구축하는 모든 회사가 이를 이용할 수 있게 되어 기쁘게 생각합니다. Full-Text Search란 무엇인가요? SingleStore가 Fast Searching과 Large String을 지원하는 상태에서 추가적인 기능이 왜 필요한지 궁금할 수 있습니다. 따라서 Full-Text Search(FTS)에 대한 설명부터 시작하겠습니다. Full-Text Search는 두 가지 방법으로 문자열 값을 쿼리 하는 것과 다릅니다. 첫 번째는 성능 차이입니다. 때로는 텍스트를 검색할 때 정확히 무엇을 찾는지 알 수 있습니다. 예를 들어, 만약 여.. 2021. 2. 1. 대용량 및 다차원 이미지 데이터를 SingleStore의 고성능 벡터 연산 함수로 처리하기 SingleStore의 고성능 벡터 연산을 위한 함수들 SingleStore 벡터 함수(Vector Functions) SingleStore는 두 벡터에 대한 유사율을 확인하기 위한 벡터함수를 제공합니다. DOT_PRODUCT 와 EUCLIDEAN_DISTANCE입니다. 이 두 벡터함수는 고속 고성능의 SIMD(Single-Instruction, Multiple-Data)를 구현하므로 하드웨어가 AVX2 명령어를 지원해야 합니다. 또한 벡터함수에 올바른 형식의 벡터를 Insert 하기 위한 내장 함수도 지원합니다. 두 벡터에 대해서는 VECTOR_SUB 내장 함수를 지원하며 부동 소수점 숫자와 배열에 대해서는 JSON_ARRAY_PACK 내장 함수를 사용하여 쉽게 벡터로의 변환을 도와줍.. 2019. 11. 18. [사례 연구, Comcast] Hadoop과 SingleStore를 활용한 실시간 스트림 처리 아키텍처 SingleStore와 Hadoop은 모두 데이터 저장소이지만 데이터 처리 및 분석 스택에서 서로 다른 역할을 수행합니다. 기업은 HDFS (Hadoop Distributed File System)를 사용하여 대량의 불변 데이터를 저장할 수 있지만 설계상으로는 거의 대부분 배치 처리에 사용됩니다. 게다가 더 빠르고 스토리지 기능이 뛰어난 새로운 실행 프레임웍인 SingleStore는 기업의 배치 처리 인터페이스로 선택된 MapReduce에게 도전장을 내고 있습니다. 람다(Lamda) 아키텍처 많은 SingleStore 고객들이 람다 아키넥처(LA)를 사용하여 시스템을 구축했습니다. LA는 매우 저렴한 스토리지에 대한 장기 데이데를 유지하면서, 최근의 핫 데이터가 요구하는 빠른 업데이트와 분석이 요구되.. 2019. 8. 30. ML을 위한 3가지 SingleStore 활용 영역 머신러닝이란? 머신러닝(ML)은 트레이닝 데이터에서 자동으로 작성되거나 "학습된" 분석 모델을 사용하여 데이터를 분석하는 방법입니다. 그 아이디어는 더 많은 데이터 포인트를 공급할수록 모델이 더 좋아져서 알고리즘이 시간이 지남에 따라 자동적으로 더 나아질 수 있게 한다는 것입니다. 머신러닝에는 학습(Training) 및 운영(Operationalization) 두 단계가 있습니다. 트레이닝은 이미 많이 알고 있는 데이터 셋(트레이닝 셋라고 함)를 확보하고, 패턴을 찾기 위해 데이터 셋를 탐색하여 모델을 개발합니다. 모델을 개발하면 운영화 단계로 넘어갑니다. 모델을 운영 시스템(Production System)에 배포(Deployment)하여 새로운 데이터를 스코어링하고, 시스템은 사용자에게 결과 값을.. 2019. 8. 6. ML을 위한 SingleStore와 Spark의 활용 샌프란시스코에서 열린 스파크 서밋(Spark Summit)에서 전 세계에 설치된 20만 개의 풍력 터빈에 200만 개 이상의 센서로부터 데이터를 처리하고 분석하는 PowerStream 쇼케이스 애플리케이션을 조명해 봤습니다. 당사의 PowerStream 엔지니어인 John Bowler와 함께 SingleStore와 Apache Spark 솔루션의 통합에 대한 그의 작업 내용에 대해 논의 했습니다. SingleStore와 Spark은 무슨 관계가 있나? 그 핵심으로 SingleStore는 데이터베이스 엔진이고, Spark는 데이터를 변환하기 위해 코드를 작성하는 강력한 옵션입니다. Spark는 SingleStore에 데이터가 도착하기 전이나 후에 데이터에 대해 임의 연산을 실행하는 툴입니다. Sin.. 2019. 8. 1. 이전 1 다음
