Infiswift는 주로 IoT(Internet of Things) 배포를 통해, AI를 사용하여 실제 문제를 해결합니다. IoT는 인터넷 연결과 데이터 공유를 통해, 물리적 디바이스의 작동을 최적화합니다. Infiswift의 혁신적인 플랫폼을 사용하면, 규모에 상관없이 엔드포인트(endpoint)에 손쉽게 보안 연결과 관리가 가능하며, 새로운 서비스를 시작하거나 기존 서비스를 개선하는 솔루션을 구축할 수 있습니다. Infiswift는 고객이 재생 에너지, 농업, 제조와 같은 산업에서 데이터 중심적(data-driven) 의사결정을 할 수 있도록 지원합니다. Infiswift는 빠르고 안정적인 분석을 제공하고 지속적으로 업데이트되는 기계 학습(ML) 모델을 지원하기 위해, SingleStore를 Infiswift 플랫폼의 실시간 인사이트 엔진(real-time insights engine)으로 선택했습니다. 이 블로그 게시물은 Infiswift CTO Jay Srinivasan과의 최근 인터뷰 에서 얻은 신선한 인사이트로 업데이트했습니다 .
디바이스 인사이트(Device Insights)의 영향
Infiswift 플랫폼은 대부분의 IoT 환경에서 제공하기 어려운 확장성과 단순성을 결합하여, 모든 엔드포인트에서 데이터를 안정적이고 안전하게 수집합니다. Infiswift 플랫폼은 데이터가 시스템에 들어갈 때, 데이터 스트림 전반에 걸쳐 실시간 인사이트를 제공합니다. 운영자는 데이터를 사용하여 장비 안정성을 개선하고 비용을 최적화합니다.
Infiswift 플랫폼은 개별 데이터 포인트(data point)수준까지 다중등급보안(MLS, Multi-Level Security)을 포함하는 정교한 발행/구독(Pub/Sub) 메커니즘 핵심에 MQTT(Message Queue Telemetry Transport)프로토콜을 사용합니다. 분석 시스템의 핵심 요소는 간헐적 데이터의 빠른 수집을 관리할 수 있는 적응형 데이터베이스 플랫폼입니다. Infiswift는 그들이 필요로 하는 플랫폼으로 SingleStore를 선택했습니다.
IoT 시스템을 위한 실시간 및 과거 데이터
IoT 시스템은 대량의 스트리밍 데이터를 생성하는 수백만 개의 디바이스에 액세스합니다. 일부 장비의 경우, 단 하나의 이벤트가 기계의 상태를 실시간으로 이해하고 응답하는데 중요하기 때문에, 정확하고 신뢰할 수 있는 데이터야 합니다. 실시간 데이터도 여전히 중요하지만, 과거 데이터(historical data)를 저장하고 분석하면, 최적화와 운영 기술의 새로운 기회가 생길 것 입니다. 따라서, 실시간 데이터와 과거 데이터의 조합은 IoT 플랫폼에 대한 가장 완벽한 뷰를 제공할 것입니다.
IoT를 위한 데이터베이스 요구 사항
비즈니스 요구 사항으로 인해, Infiswift 플랫폼은 디바이스 인증 및 상태의 데이터를 신속하게 처리해야 했습니다. 장비의 메시지는 몇 초 또는 1초 미만의 간격으로 나타나므로, 처리량이 많고 메모리에 최적화된 데이터베이스가 필요했습니다. Infiswift 엔지니어링팀은 장기적 분석을 위해 디스크에 데이터를 유지할 뿐만 아니라, 변화하는 데이터를 빠르게 수집하는 데이터베이스가 필요했습니다. 데이터 볼륨이 크기 때문에 데이터베이스는 columnstore 데이터 압축을 활용하여 디스크 리소스를 최적화해야 했습니다.
기본적으로 실시간으로 데이터를 매우 빠르게 처리해야 합니다.
우리는 고객이 요구하는 안정성으로 데이터 볼륨과 속도를 처리할 수 있는
높은 처리량 데이터베이스가 필요했기 때문에 SingleStore를 선택했습니다.- Infiswift CTO Jay Srinivasan
싱글스토어의 장점
Infiswift는 수백만 개의 이벤트의 규모를 실시간으로 수집하고 분석할 수 있는 데이터베이스 플랫폼이 필요했습니다. 여러 기술 평가를 거친 후, Infiswift는 SingleStore를 선택했습니다.
정말 잘 생각한 제품입니다. 내가 SingleStore를 사랑하는 이유입니다.
최적의 성능을 위한 Rowstore와 Columnstore
메모리 내 Rowstore 엔진과 디스크 기반 Columnstore의 독특한 조합은 효율적인 프로세싱과 단순한 아키텍처를 만들었습니다.
우리는 많은 센서 데이터를 저장하기를 원했고,
따라서 분명히 디스크 기반 스토리지가 될 것입니다.
그러나 동시에 인메모리를 의미하는 실시간 데이터 배포를 위해
플랫폼이 빠르기를 원했습니다.
JSON 지원
SingleStore는 관계형 데이터베이스내에서 JSON 데이터를 일급 데이터 타입(first-class data type)으로 만드는 초기 리더였으며, 반구조화된 JSON 데이터에 대해 SQL 명령을 빠르고 쉽게 실행할 수 있도록 합니다. JSON 데이터는 IoT의 기본이므로, 이 기능은 Infiswift에 매우 중요합니다.
확장 가능한 트랜잭션
애플리케이션은 지속적으로 변화하는 센서 이벤트에 대해 매우 정확한 업데이트를 제공하기 위해서는 트랜잭션 일관성이 필요합니다. Infiswift는 NoSQL 기반 솔루션에서는 필요한 것을 얻을 수 없었습니다. SQL의 속도와 호환성은 그들에게 매우 중요했습니다.
우리는 이러한 높은 빈도의 트랜잭션을 지원할 수 있는 플랫폼이 필요합니다.
트랜잭션은 24ms밖에 걸리지 않습니다.
관계형 SQL
Infiswift 엔지니어링 팀은 앱 개발을 위해 MySQL과 함께 ANSI SQL에 투자했습니다. SingleStore는 기존의 기술 약정을 유지될 수 있도록 해주었습니다. 특히 SingleStore는 MySQL 유선 프로토콜과 호환되므로, SingleStore를 drop-in replacement로 쉽게 사용할 수 있습니다.
Google에서 근무했을 때는,
SQL기반 인터페이스인 Google Spanner로 이관해야만 했던 적이 있습니다.
압축
서버 리소스를 최대한 활용하기 위해서는 수집된 많은 양의 데이터의 정교한 압축이 필요합니다. SingleStore는 응용 프로그램에 대해 약 7배의 압축을 제공합니다.
AI/ML 통합
AI는 Infiswift 가치 제안(value proposition)의 핵심 부분이며, SingleStore는 AI에 필요한 새로운 스트리밍 데이터와 과거 데이터에 대한 빠르고 동시 액세스를 제공합니다. 특히, Infiswift는 Spark 프레임워크 내에서 실행되는 기계 학습 모델을 실시간으로 업데이트해야 하며, SingleStore는 Spark 통합을 쉽게 지원합니다 .
Infiwift머신 러닝 모델의 경우,
교육 단계의 워크로드는 동일한 SingleStore 클러스터에서 직접 실행되며,
columnstore 데이터에 대한 분석 지원과 7배 압축도 제공하였습니다.
라이선스와 배포 유연성
SingleStore는 Infiswift와 같이 혁신적이고 빠르게 움직이는 스타트업이 구축 및 확장할 수 있는 무료버전 을 제공 합니다 . Infiswift는 온프레미스 SingleStore, 클라우드의 SingleStore, 소규모 계정용 MySQL 배포에서 유연하게 이동할 수 있습니다.
SingleStore는 온프레미스에서 완전히 호스팅할 수 있는 기능을 가지고 있습니다.
우리의 가장 중요한 요구 사항 중 하나는
완전한 온프레미스 호스팅도 가능해야 한다는 것이었습니다.
SingleStore는 우리가 원하는 모든 곳에서 호스팅할 수 있습니다.
결론
Infiswift는 아래의 4가지 주요 요구사항을 충족하기를 기대했지만, 모든 요구사항을 제공할 수 있는 단일 제품을 찾기를 기대하지 않았습니다.
- 메모리 내 rowstore
- 압축 기능이 있는 온디스크 columnstore
- SQL 지원
- 온프레미스와 클라우드 두 가지 모두를 제공
SingleStore는 우수한 성능으로 이러한 모든 요구 사항을 충족했습니다. 또한, 중요한 추가 기능을 제공했습니다.
- 거의 모든 최신 IoT 장치에 사용되는 JSON 지원
- MySQL 호환 프로토콜을 따르므로 응용 프로그램 코드를 변경하지 않고 빠른 교체(drop-in replacement) 가능
IoT 애플리케이션 구축하려면, 운영 요구사항에 맞는 확장, 보안, 성능을 지원하는 기술의 균형이 필요합니다. Infiswift 플랫폼은 복잡성을 제거하고 데이터 중심적 운영을 효율적으로 활성화할 수 있는 고성능 IoT 시스템의 약속을 제공합니다. 이제 SingleStore를 통해 플랫폼에 구축된 각 애플리케이션은 고객이 운영을 위한 변혁적 분석, 기계 학습, AI를 추진하는 데 필요한 안정성과 성능을 갖고 있습니다.
만약 IoT 응용 프로그램에 대한 더 많은 SingleStore에 대한 내용은 무료로 SingleStore을 설치 하거나 SingleStore에 연락하십시오.
August 19th, 2020
출처: https://www.singlestore.com/blog/iot-analytics-infiswift/
How Infiswift Supercharged Its Analytics for IoT & AI Applications
Building IoT applications involves a balance of technology capabilities to enable scale, security & performance for operational requirements. Learn more!
www.singlestore.com
※ www.a-platform.biz | info@a-platform.biz
'SingleStoreDB > 사례연구' 카테고리의 다른 글
| [사례 연구, 에너지] 메이저 석유 및 가스 회사의 재무 운영 개선 (0) | 2021.08.20 |
|---|---|
| [사례 연구, 에너지] 업계 최고의 가스 및 전력 유틸리티 기업의 스마트 미터 데이터 관리 (0) | 2021.08.20 |
| [사례 연구, 금융] 머신러닝기반 실시간 이상거래 탐지(미국 메이저 은행) (0) | 2021.08.10 |
| [사례 연구, 금융] SingleStore와 Kafka를 통한 위험 관리 성능 개선 (0) | 2021.08.10 |
| [사례 연구, monday.com] 엔지니어가 SingleStore의 BI 기능을 효과적으로 사용하는 방법 (0) | 2021.08.10 |
