연구노트17 SingleStore 디폴트 Data 디렉토리 변경 ■ 개요 SingleStore 를 cluster-in-a-box 형태로 설치하면 디폴트로 /var/lib/memsql 아래에 데이터 및 설정 파일이 위치하게 됩니다. 이 경우 O/S 의 Root 디렉토리가 사용하는 디스크 파티션을 함께 사용하기 때문에 용량 문제가 발생할 수 있습니다. 이번 포스트에서는 설치할 때 Data Directory 를 지정하는 방법과 이미 설치하고 난 뒤에 Data Directory 를 변경하는 방법을 알아보겠습니다. 이 포스트는 다음 글을 참조했습니다. https://support.singlestore.com/hc/en-us/articles/360057955312-Change-default-data-directory-path ■ 설치 시 Directory 지정 설치 과정.. 2023. 10. 26. SingleStore DB Directory Layout [1] 개요 그동안 SingleStore 를 설치하는 여러 내용들이 있었습니다. 이제부터는 설치된 SingleStore 의 디렉토리 구조와 각종 설정 파일들의 역할을 알아보도록 하겠습니다. 이번 포스트에서 설명할 환경은 Windows10 WSL2 를 기준으로 패키지 관리 프로그램이 디폴트이 설치한 SingleStore 를 기준으로 설명합니다. tarball 로 사용자환경에 맞게 커스텀으로 설치한 환경은 지금 설명과 많이 다릅니다. 설치하는 방법은 아래 링크를 참조하시기 바랍니다. https://a-platform.tistory.com/124 Windows 10 WSL2 에 SingleStore 설치 [1] 개요 SingleStore 는 현재 공식적으로 Intel 계열의 Linux Platform 만 지.. 2023. 10. 20. On-Premises Llama 2 및 SingleStoreDB 를 이용한 생성형 AI 프로그램 예제 이번 글에서는 On-Premises 환경에서 Llama 2 및 SingleStoreDB 를 각각 LLM 및 Vector Store 로 사용하는 간단한 예제를 소개하려고 합니다. Llama 는 Meta 에서 공개한 Open LLM 으로 API 를 이용하는 OpenAI 의 ChatGPT 와 달리 온프레미스에서 로컬 서버에 설치가 가능해 많은 인기를 누리고 있습니다. 예제에서는 GPU 없이 CPU 만으로도 모델을 실행해 볼 수 있도록 양자화된 작은 크기의 Llama 모델을 사용할 것이며 Embedding 모델 역시 HuggingFace 에서 많이 사용하는 일반적인 모델을 이용할 것입니다. 전체적으로는 Python 의 langchain 패키지를 이용해 예제를 구성할 것이며 내용은 다음 SingleStore 의 .. 2023. 10. 12. Windows 10 WSL2 에 SingleStore 설치 [1] 개요 SingleStore 는 현재 공식적으로 Intel 계열의 Linux Platform 만 지원하고 있습니다. 지난 포스트에서 Arm 계열의 M1 Mac 에 설치하는 방법을 설명할 때도 실제로는 Docker Desktop 에서 AMD64 아키텍처를 에뮬레이트(Emulate) 하도록 하여 사용할 할 수 있음을 알려드렸습니다. 이번 포스트에서는 Windows 10 에서의 SingleStore 설치 방법을 알아 보려고 합니다. Windows 10 에서는 Docker Desktop 위에 SingleStore Image를 설치하는 방법과 WSL2(Windows Subsystem for Linux 2)에 직접 SingleStore Binary 를 설치하는 두가지 방법이 있습니다. 어차피 Docker .. 2023. 9. 28. M1 Mac 에 SingleStore 설치 [1] 소개 SingleStoreDB 는 집계(Aggregation) 및 필터링(Filtering) 성능을 높이기 위해 Intel 의 SSE4.2 및 AVX2 명령어세트를 이용해 SIMD(Single Instruction Multiple Data) 를 구현하고 있습니다. Apple Silicon 이 탑재된 M1/M2 계열 Mac 은 Intel 이 아닌 ARM Processor 계열이기 때문에 AVX2 등의 명령어세트가 지원되지 않아 SingleStore 를 M1 Mac 에서는 설치하여 사용해 보지 못했었습니다. M1 Mac 을 사용하는 많은 개발자들의 요청이 빈번하자 SingleStore 버전 7.8.11 부터 SIMD 와 같은 여러 최적화 기법을 다수 희생해서라도 Docker Desktop 에 Cl.. 2023. 9. 14. SingleStoreDB, PostgreSQL, MySQL 간단 조회 성능 비교 안녕하세요. 이번에 간단하게 SingleStoreDB, PostgreSQL, MySQL 의 3가지 Database 를 동일한 장비에서 동일한 테이블과 SQL을 이용하여 조회 성능 비교를 해 보았습니다. 장비 사양은 8vCPU, 32GB Memory, 100GB Boot Volume 입니다. 데이터셋은 CC By 4.0 License 를 가지고 있는 Stefan Proell, Eva Zangerle, Wolfgang Gassler 가 만든 Flughafen DB(https://github.com/stefanproell/flughafendb) 를 기초로 한 mysql 의 airportdb(https://dev.mysql.com/doc/airportdb/en/airportdb-introduction.h.. 2023. 9. 7. SingleStoreDB 성능 이야기 SingleStoreDB 를 처음 사용하게 되면서 가장 먼저 들었던 생각은 “아! 빠르다” 입니다. Oracle, MySQL, PostgreSQL 등 내노라 하는 RDBMS 에서도 왠만큼 큰 장비가 아니면 느낄 수 없는 “빠름”을 SingleStoreDB 는 그저 보통의 컴퓨팅 파워를 가지고 있는 작은 시스템에서도 쉽게 확인할 수 있습니다. 그 이유가 무엇일까요? 첫번째로 SingleStoreDB 는 Shared Nothing 구조의 분산(Distributed) DB 이기 때문입니다. SingleStoreDB Cluster 에서 Leaf 노드들이 실제적인 데이터를 나누어 저장하고 있습니다. 만일 Leaf 노드가 4대라면 각각 1/4 씩의 데이터를 균등 배분하여 저장하고 있는 셈이죠. NoSQL 의 샤딩(.. 2023. 8. 31. SingleStoreDB Cloud 무료 사용법 가장 빠르게 SingleStoreDB 를 성능을 체험해 볼 수 있는 방법은 SingleStoreDB Cloud 에서 $500 에 해당하는 Credit 을 받아 AWS, Azure, GCP Cloud 중 원하는 곳에서 원하는 크기의 Workspace 를 생성하는 것입니다. 먼저 SingleStore Portal 에 가입하여 $500 에 해당하는 credit 을 받습니다. 가입이 되면 On-premise Server 설치 시 사용할 수 있는 License Key 도 무료로 제공됩니다. 이 License 를 가지고 총 32 vCPU, 128GB Memory 를 넘지 않는 한도 내에서 SingleStoreDB Standard 옵션 설치해 사용할 수 있습니다. SingleStore Portal 에서 먼저 Wo.. 2023. 8. 31. 이전 1 2 다음
