실습2 SingleStore, Apache Spark 연동 실습 - Count 예제 Prerequisites 이 실습을 완료하려면 환경이 다음 전제 조건을 충족해야합니다. 운영 체제 : Mac OS X 또는 Linux SingleStore(MemSQL) : Version 6.0 이상 Spark : spark-2.4.3-bin-hadoop2.7 SBT : Version 1.2.8 파트 1 : SingleStore 데이터베이스, 테이블 및 데이터 생성 SingleStore에서 다음과 같이 데이터베이스 및 테이블을 생성하고 데이터를 입력합니다. CREATE DATABASE quickstart_kafka; USE quickstart_kafka; CREATE TABLE sensor_data_table(id text); INSERT INTO sensor_data_table(id) VAL.. 2019. 7. 25. SingleStore, Apache Spark 연동 개요 정확히 한 번 시맨틱(exactly-once semantics)을 가진 운영 유연성(operational flexibility)을 위해 Kafka, Spark, SingleStore Pipeline 및 Stored procedures를 사용하십시오. Spark Connector SingleStore(MemSQL) Spark Connector는 Apache Spark 2.0 및 2.1과 통합되며 데이터베이스 테이블 및 Spark DataFrames에서 데이터로드 및 추출을 지원합니다. GitHub 저장소 에서 Spark Connector를 다운로드 할 수 있습니다. Spark Connector에 대한 스칼라 참조 문서는 하단의 링크를 통해 볼 수 있습니다. (https://docs.sing.. 2019. 7. 25. 이전 1 다음
