본문 바로가기

SingleStoreDB/엔지니어링37

SingleStore 파이프라인을 활용한 S3 Access Log 데이터 실시간 분석 안녕하세요, 에이플랫폼입니다.Amazon S3를 사용하면 대용량 데이터를 효율적으로 저장하고 관리할 수 있지만, 접근 로그(Access Logs)를 분석하는 것은 쉽지 않은 일입니다. S3 로그는 원시 형태(raw format)로 제공되기 때문에 원하는 정보를 빠르게 추출하고 활용하려면 추가적인 분석 과정이 필요합니다.하지만 SingleStore 파이프라인을 활용하면 S3에서 액세스 로그를 손쉽게 스트리밍하여 실시간으로 분석할 수 있습니다. 이를 통해 로그 데이터를 빠르게 로드하고, 강력한 SQL 쿼리를 사용해 원하는 정보를 즉시 추출할 수 있습니다.이번 글에서는 SingleStore를 활용하여 S3 접근 로그를 효과적으로 분석하는 방법을 소개합니다. 직접 테스트한 내용을 바탕으로, 로그 데이터를 빠르게.. 2025. 3. 20.
SingleStore로 구현한 실시간 자동완성과 오타 허용 안녕하세요, 에이플랫폼입니다.오늘은 최신 HTAP(하이브리드 트랜잭션/분석 처리) 데이터베이스인 SingleStore를 활용하여 Java Lucene 기반 Full Text Search 기능을 이용한 실시간 오타 허용 자동 완성 시스템 구축 방법을 소개해 드리겠습니다.SingleStore는 HTAP 데이터베이스로서 트랜잭션과 분석 작업을 단일 시스템에서 처리할 수 있어, 사용자의 입력을 검색 결과에 실시간으로 반영할 수 있습니다. 이를 활용하면 빠르고 정확한 자동 완성 기능을 구축할 수 있습니다. 실시간 자동 완성 시스템을 위한 핵심 요소오타 허용 맞춤법 오류가 포함된 검색어에도 적절한 제안을 제공해야 합니다.실시간 성능 대규모 데이터 세트에서도 최소한의 지연 시간으로 빠르게 검색 결과를 반환해야 합니다.. 2025. 3. 14.
DashApp 따라하기 with SingleStore 안녕하세요 에이플랫폼 입니다.이번 시간에는 SingleStore Helios Free Shared Tier와 SingleStore Notebook을 활용해서 간단한 DashApp을 만들어 보겠습니다.저번 게시물인 Semantic Search 따라하기 with SingleStore 를 보셨다면 좀 더 수월하게 해보실 수 있을 것 같습니다.https://blog.naver.com/a-platformbiz/223771658667 Semantic Search 따라하기 with SingleStore안녕하세요 에이플랫폼 입니다. 저번 싱글 스토리 4화의 내용인 Semantic Search를 SingleStore Note...blog.naver.comhttps://a-platform.tistory.com/151 Se.. 2025. 2. 27.
Semantic Search 따라하기 with SingleStore 안녕하세요 에이플랫폼 입니다. 저번 싱글 스토리 4화의 내용인 Semantic Search를 SingleStore NoteBooks를 활용하여 직접 따라 해보는 시간을 가져보겠습니다. 싱글 스토리는 아래 링크의 카페에서 확인하실 수 있습니다.https://cafe.naver.com/aplatformbiz/30178 4화 - 시맨틱 검색(Semantic Search)안녕하세요, 에이플랫폼의 싱글스토리 시리즈입니다. 최근 생성형 AI 기술이 급격히 발전하면서, 단순한 키워드 기반 검색이 아닌 의미를 이해하는 검색(Semantic Searc...cafe.naver.com잠시 들어가기 전에 먼저 간단하게 소개를 드리자면SingleStore Notebooks는 Jupyter Notebook의 기능을 확장하여 데이.. 2025. 2. 24.
SingleStore 클러스터 구축 안녕하세요 에이플랫폼 입니다.오늘은 후술할 Kafka 관련 테스트를 하기 위해 싱글스토 클러스터를 구축하는 방법을 소개해 드리겠습니다. 📌테스트 환경Virtual Machine을 사용했습니다.OS: Rocky 9.54 CPU / 8 GB RAM간단하게 설치 후 SingleStore Kafka Pipeline 실습을 위한 목적입니다.1 Host / 1MA + 1LF 구성 입니다.1. 사전 작업1.1. SELINUX 끄기# 아래와 같은 상태라면 OK~[jwy@kafka ~]$ sestatusSELinux status: disabled# 만일 아래와 같다면[jwy@kafka ~]$ sestatusSELinux status: enabledSELinuxf.. 2025. 2. 4.
카프카(kafka) 싱글 노드 클러스터 구축 안녕하세요 에이플랫폼 입니다.오늘은 후술할 Kafka 관련 테스트를 하기 위해 카프카 싱글 노드 클러스터를 구축하는 방법을 소개해 드리겠습니다. 📌테스트 환경Virtual Machine을 사용했습니다.OS: Rocky 9.54 CPU / 8 GB RAM간단하게 설치 후 SingleStore Kafka Pipeline 실습을 위한 목적입니다.1. 사전 작업1.1. 필수 종속 패키지 설치JAVA RUNTIIME⚠️ Java 8 이상 버전을 설치해야 합니다.- 확인# 현재 java 설치 전 [jwy@kafka ~]$ java -version -bash: java: command not found- 설치# java 검색 [jwy@kafka ~]$ dnf search java | grep headless Roc.. 2025. 2. 3.
SingleStore : HTAP - Local Storage Database Demo 이 영상은 SingleStore의 HTAP (Transaction + Analytic) 처리 능력을 보여 드립니다. 단일 테이블에 대량의 데이터를 적재하면서도, 최근 10분간 적재된 1억 2천만 개 이상의 데이터를 집계하는데 200~300ms 밖에 소요되지 않습니다. 또한 analytic query를 무한 반복해 인의적인 과부하를 유발한 상태에서 down-time 없이 Scale-in/out 실행해 SingleStore의 scalability를 시연합니다. 이 기능을 응용해 기존 다양한 데이터를 실시간 적재하며 real-time dashboard 를 구축하실 수 있습니다. 생산설비의 센서 데이터에서 application 의 사용자 정의 event까지, 발생하는 만큼 SingleStore에 적재하고 실시간.. 2022. 10. 18.
SingleStore : HTAP - Unlimited Storage Database Demo 이 영상은 SingleStore의 HTAP (Transaction + Analytic) 처리 능력을 보여 드립니다. 단일 테이블에 대량의 데이터를 적재하면서도, 최근 10분간 적재된 1억 2천만 개 이상의 데이터를 집계하는데 200~300ms 밖에 소요되지 않습니다. 또한 analytic query를 무한 반복해 인의적인 과부하를 유발한 상태에서 down-time 없이 Scale-in/out 실행해 SingleStore의 scalability를 시연합니다. 이 기능을 응용해 기존 다양한 데이터를 실시간 적재하며 real-time dashboard 를 구축하실 수 있습니다. 생산설비의 센서 데이터에서 application 의 사용자 정의 event까지, 발생하는 만큼 SingleStore에 적재하고 실시간.. 2022. 10. 18.
SingleStore DB 7.1 SingleStore DB 7.1을 즉시 다운로드할 수 있으며, 전 세계 퍼블릭 클라우드의 SingleStore Managed Service 에서도 SingleStore DB 7.1을 사용할 수 있습니다. SingleStore DB 7.1을 통해 SingleStore는 실시간 분석 및 강화된 트랜잭션 처리하기 위한 앞서가는 NewSQL 플랫폼으로 더욱 확고해졌습니다[참고1]. 하나의 시스템에서 탁월한 트랜잭션 및 분석 성능을 제공합니다. 또한 이 릴리스는 트랜잭션 처리, 운영 분석 등을 제공하는 미션 크리티컬 응용프로그램을 위한 향상된 복원력(resilience) 기능을 제공합니다. ​https://youtu.be/vuZmbSdusXs 무한한 확장성, 고가용성(HA), 재해 복구(DR), full SQL.. 2021. 10. 18.

티스토리툴바