Spark12 ML을 위한 3가지 SingleStore 활용 영역 머신러닝이란? 머신러닝(ML)은 트레이닝 데이터에서 자동으로 작성되거나 "학습된" 분석 모델을 사용하여 데이터를 분석하는 방법입니다. 그 아이디어는 더 많은 데이터 포인트를 공급할수록 모델이 더 좋아져서 알고리즘이 시간이 지남에 따라 자동적으로 더 나아질 수 있게 한다는 것입니다. 머신러닝에는 학습(Training) 및 운영(Operationalization) 두 단계가 있습니다. 트레이닝은 이미 많이 알고 있는 데이터 셋(트레이닝 셋라고 함)를 확보하고, 패턴을 찾기 위해 데이터 셋를 탐색하여 모델을 개발합니다. 모델을 개발하면 운영화 단계로 넘어갑니다. 모델을 운영 시스템(Production System)에 배포(Deployment)하여 새로운 데이터를 스코어링하고, 시스템은 사용자에게 결과 값을.. 2019. 8. 6. SingleStore, Apache Spark 연동 실습 - Count 예제 Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux SingleStore(MemSQL) : Version 6.0 이상 Spark : spark-2.4.3-bin-hadoop2.7 SBT : Version 1.2.8 파트 1 : SingleStore 데이터베이스, 테이블 및 데이터 생성 SingleStore에서 다음과 같이 데이터베이스 및 테이블을 생성하고 데이터를 입력합니다. CREATE DATABASE quickstart_kafka; USE quickstart_kafka; CREATE TABLE sensor_data_table(id text); INSERT INTO sensor_data_table(id) VAL.. 2019. 7. 25. SingleStore, Apache Spark 연동 개요 정확히 한 번 시맨틱(exactly-once semantics)을 가진 운영 유연성(operational flexibility)을 위해 Kafka, Spark, SingleStore Pipeline 및 Stored procedures를 사용하십시오. Spark Connector SingleStore(MemSQL) Spark Connector는 Apache Spark 2.0 및 2.1과 통합되며 데이터베이스 테이블 및 Spark DataFrames에서 데이터로드 및 추출을 지원합니다. GitHub 저장소 에서 Spark Connector를 다운로드 할 수 있습니다. Spark Connector에 대한 스칼라 참조 문서는 하단의 링크를 통해 볼 수 있습니다. (https://docs.sing.. 2019. 7. 25. 이전 1 2 다음
