SingleStore Notebooks, 시간 관리: Cron Scheduling 활용법

 

안녕하세요 에이플랫폼 입니다.

SingleStore에서 노트북을 위한 cron 기반 스케줄링이 발표되었습니다!

이 기능의 요청이 많았는데요, 이제 스케줄링 기능을 사용하여 SingleStore Notebook 실행을 제어할 수 있습니다.

스케줄링은 표준 cron 구문을 사용하여 정확하게 워크로드를 예약할 수 있습니다.

cron 기반 스케줄링은 무엇인지 그리고 SingleStore Notebooks에서 cron 기반 스케줄링을 활용하는 방법을 알려드리겠습니다.

 

---

Cron 스케줄링으로 최적화된 워크플로우

기존의 상대적 시간 스케줄링(Ex: "4시간 후 다음 작업 실행")은 많은 사용자에게 좋은 서비스를 제공했지만, 많은 사용자의 피드백을 통해 스케줄링 워크플로우가 개선되었습니다.

• 일관된 실행시간 이전에는 작업을 완료하는 데 20분이 걸리고 매시간 실행되도록 예약된 경우 다음 실행은 초기 시작 시간보다 1시간 20분 후에 시작되었습니다.

      cron 기반 스케줄링을 사용하면 이전 실행 기간에 관계없이 지정된 즉시 작업이 정확하게 시작됩니다.

• 정밀한 타이밍 정확한 시간에 중요한 데이터 파이프라인을 실행해야 한다면?

      이제 자신 있게 정확한 일정을 예약할 수 있습니다.

• 복잡한 스케줄링 패턴 매월 첫 번째 월요일, 매주 평일 오후 5시 및 cron이 지원하는 기타 복잡한 스케줄링 패턴에 맞추어 작업을 실행합니다.

작동 원리

직관적인 cron 기반 스케줄링

Notebook 일정을 만들거나 편집할 때 이제 새로운 "Cron 일정" 옵션이 표시됩니다.

cron 표현식 형식은 표준 5개 필드 구문(분, 시간, 월, 월, 요일)을 따르므로 아래의 예시와 같이 일정을 만들 수 있습니다.

• 0 8 * * 1-5 매주 평일 오전 8시 실행
• 0 0 1 * * 매월 1일 자정에 실행
• 0 9-17 * * * 업무 시간 중 매 시간 실행

SingleStore의 사용자 인터페이스는 cron 표현식을 실시간으로 검증하여 일정이 예상대로 작동하는지 확인하기 위해 즉각적인 피드백을 제공합니다.

cron 구문을 처음 사용하는 사람들을 위해 SingleStore의 솔루션은 명확한 오류 메시지와 유용한 제안을 제공합니다.

데이터 워크플로우 최적

이 향상된 Cron 기반 스케줄링 기능은 다음과 같은 경우에 특히 유용합니다.

• 매일 특정 시간에 생성된 보고서가 필요한 데이터 분석가
• 정확한 타이밍이 필요한 복잡한 ETL 파이프라인을 관리하는 데이터 엔지니어
• 최적의 시간에 모델 학습 및 평가가 이루어지기를 원하는 데이터 과학자
• Cron 스케줄링을 사용하는 다른 플랫폼에서 Migration 하는 팀

기존 기능과의 통합

새로운 cron 기반 스케줄링 기능은 모든 Notebook 실행 기능과 원활하게 작동합니다.

• 실행 기록 보기
• 각 실행에 대한 매개 변수 설정
• 실행 상태에 대한 알림 받기
• 모든 동일한 출력 및 진단에 액세스

 

---

이렇게 Cron 스케줄링 기능을 소개해 드렸으니 간단히 활용하는 예시를 보여 드리겠습니다.

SingleStore Notebook 생성

SingleStore Helios의 Data Studio에서 New Notebook을 생성해주세요.

이때 Location은 꼭 Shared로 생성해 주셔야 Cron 스케줄링 지정이 가능합니다.

제 Notebook은 DataStudio안에 있는 Gallery의 Importing Data from S3 into SingleStore using Pipelines 를 토대로 예시를 보여드리겠습니다.

예시에서 사용한 dummy_data.csv는 SingleStore에서 제공하는 기능인 Dummy Data Generator를 사용했습니다.

예시 코드의 흐름입니다.

SingleStore Notebook의 작성이 완료가 되었다면

Jobs 탭에서의 Schedule

SingleStore Notebook 상단의 Schedule 버튼을 눌러 Cron 스케줄링 설정이 가능합니다.

스케줄링의 이름과 설명, 어떤 Notebook을 실행시킬지, 어떤 워크스페이스를 사용할지 지정 후 Cron 스케줄링을 등록할 수 있습니다.

최소 실행 주기는 1시간 입니다.

스케줄링 설정 후 스케줄링에 대한 요약을 볼 수 있습니다.

스케줄링 설정 후 Jobs 탭에서도 확인할 수 있습니다.

스케줄을 클릭 후 상세정보를 확인할 수 있습니다.

스케줄이 한번 실행된 뒤의 모습입니다.

실행된 스케줄의 결과도 바로 보실 수 있습니다.

 

---

향후 릴리스에서 시간대 지원을 포함하여 스케줄링 시스템에 대한 추가 개선 사항을 준비하고 있다고 합니다.

좀 더 편하게 스케줄링을 등록하고 관리할 수 있을 것 같습니다.

많은 사용자 분들이 SingleStore의 스케줄링을 직접 사용해 보시고 어떤 기능이 워크플로우를 더욱 개선할 수 있는지 피드백을 해주시면 좋을 것 같습니다.

감사합니다.

 

- 블로그 원본 글 -

https://www.singlestore.com/blog/cron-scheduling-singlestore-notebooks/

Take Control of Time: Cron Scheduling Comes to SingleStore Notebooks