VectorDB2 On-Premises Llama 2 및 SingleStoreDB 를 이용한 생성형 AI 프로그램 예제 이번 글에서는 On-Premises 환경에서 Llama 2 및 SingleStoreDB 를 각각 LLM 및 Vector Store 로 사용하는 간단한 예제를 소개하려고 합니다. Llama 는 Meta 에서 공개한 Open LLM 으로 API 를 이용하는 OpenAI 의 ChatGPT 와 달리 온프레미스에서 로컬 서버에 설치가 가능해 많은 인기를 누리고 있습니다. 예제에서는 GPU 없이 CPU 만으로도 모델을 실행해 볼 수 있도록 양자화된 작은 크기의 Llama 모델을 사용할 것이며 Embedding 모델 역시 HuggingFace 에서 많이 사용하는 일반적인 모델을 이용할 것입니다. 전체적으로는 Python 의 langchain 패키지를 이용해 예제를 구성할 것이며 내용은 다음 SingleStore 의 .. 2023. 10. 12. SingleStore Vector DB에 관한 10문 10답 Q1. 요즘 DB 시장에서 특수 벡터 DB의 비중이 커지고 있는데, 이 특수 벡터 DB가 무엇인가요? 요즘 DB 시장에서 이 특수 벡터 DB를 빼놓고 이야기할 수가 없죠. 특수 벡터 DB는 주로 고차원의 벡터를 저장하고 검색하는 데에 특화되어 있는데, 특히 최근접 이웃 검색(nearest-neighbor search)에 많이 이용되고 있어요. 그리고 이런 DB들은 "메타데이터"라고 불리는 다른 속성들에 대해서도 어느 정도 필터링이 되긴 하지만, 일반적인 DB 시스템에서 기대하는 모든 기능을 갖추고 있지는 않아요. Q2. 이것을 구매한 후 기존의 데이터 아키텍처에 합치면 어떤 일이 발생하나요? 음.. 과도한 데이터 이동이나 데이터 중복 현상, 그리고 분산된 컴포넌트 간의 데이터 값 불.. 2023. 8. 4. 이전 1 다음
