한 메이저 석유 및 가스 회사는 IoT 데이터가 초당 GB(기가바이트)의 속도로 쏟아져 들어오고, 닷넷(.NET) 애플리케이션에서 생성된 최신 재무 예측이 주요 경쟁 우위로 작용하는 불안정한 시장에서 일하고 있습니다. 이에 분석 아키텍처의 핵심에 있는 NoSQL 데이터베이스인 MapR, ElasticSearch를 MongoDB, Oracle Exadata로 교체를 고려했지만, 결국 SingleStore로 교체했습니다. 빠르게 구현한 후, 이제는 경쟁업체보다 더 적은 수의 서버와 더 나은 성능으로, 재무 예측을 하루에 여러 번 실행할 수 있게 되었습니다. 이 회사는 이제 다양한 재무 예측 애플리케이션, 토지 계약 분석, ERP 보고 등에도 SingleStore를 사용하고 있습니다.
소개
석유와 가스를 찾고, 추출하고, 공급하는 것은 세계에서 가장 어려운 사업 중 하나입니다. 또한, 평상시에는 세계에서 가장 수익성이 높은 사업 중 하나이기도 합니다. 그러나 최근 유가 폭락과 코로나바이러스 전염병으로 인한 수요 붕괴는 이 산업에 전례 없는 위기를 맞았습니다.
그러나 석유와 가스는 항상 어려운 사업이었습니다. 가장 큰 과제와 기회 중 하나는 재정 운영입니다. 제대로 운영되는 기업은 가용 자본의 보유량 관리를 위해, 산더미 같은 데이터를 사용합니다. 자본에 대한 접근성이 좋아 상황이 좋아 보일 때는 기존 공급량을 유지하면서 새로운 매장량을 찾는데 투자합니다. 어려운 시기에는 생산량을 줄이고, 다음 기회가 올 때까지 기다립니다.
제대로 운영되지 않거나 규모가 너무 작아 효과적으로 경쟁할 수 없는 기업은 재정적인 문제 해결 능력이 부족하여, 매각되거나 폐업하는 경우가 있습니다. 이러한 기업들의 자산은 더 잘 운영하는 경쟁 기업이 인수하여 더 크고 탄력적인 기업으로 성장합니다.
한 대형 석유 및 가스 기업는 유정, 시추 장비, 파이프라인으로 구성된 공장 전체에 광범위한 IoT(사물 인터넷) 배포를 구축했습니다. 또한 광범위한 외부 데이터 피드를 사용하고 내부 생성 정보와 시장 정보를 혼합하여 현명한 결정을 내립니다. 그러나 몇 년 전만 해도 IT 인프라가 충분하지 않았습니다.
그래서 그들은 인프라의 핵심에 있는 데이터베이스를 SingleStore 데이터베이스 플랫폼으로 교체했습니다. 이 새롭고 강력한 엔진의 주요 사용 사례는 회사의 재무 예측을 지속적으로 조정하는 것 입니다. 경영진은 현장 직원부터 금융 자본의 대출 기관과 분석가에 이르기까지 모든 사람과 지속적으로 연락하면서 동시에 대략 100개의 주요 변수를 조사합니다. 이 모든 정보를 바탕으로 잠재적인 새 예산을 지속적으로 만들고 스트레스 테스트를 합니다. 이러한 과정은 엄청난 보상의 성공부터 심각한 비즈니스 실패의 결과까지 전사적 리스크 관리 분석을 실행하는 것입니다.
이 사례 연구에서는 이전 아키텍처로 인해 발생한 비즈니스 문제에 대해 자세히 설명합니다. 어떤 대안적 솔루션이 고려되었는지, SingleStore가 문제를 해결하는 데 어떻게 도움이 되었는지에 대해 설명합니다. 이제 SingleStore를 사용하는 회사는 좋은 시기든 힘든 시기든, 경쟁자보다 돋보이고 시장에서 앞서며 성장합니다.
이 사례는 다른 석유 및 가스 기업, 일상 업무에서 IoT를 사용하는 기업, 변화하는 대규모 데이터 셋 전반에 걸쳐 재무 분석과 예산 편성 유연성이 필요한 기업, 현재의 비즈니스 과제를 해결하기 위해 정보 흐름의 속도를 높여야 하는 모든 기업들의 관심을 가질 것 입니다.
기업 프로필
몇 년 전, 텍사스에 본사를 둔 석유 및 가스 기업이 SingleStore에 연락을 취했습니다. 이 Fortune 500대 기업은 상장되어 있으며, 연간 수익은 수백억 달러이고, 직원은 수천 명입니다. 이 기업은 주로 셰일에서 나오는 탄화수소(석유와 가스)를 적극적으로 탐색합니다. 셰일 가스는 개발 비용이 많이 드는 것으로 유명하지만, 기존의 석유 및 가스보다 채굴도중 더 쉽게 켜고 끌 수 있습니다. 즉, 기존의 석유 및 가스와 달리 적극적으로 관리할 수 있으며, 셰일 자원을 최대한 활용하기 위해서는 지속적인 정보 흐름이 필요합니다.
이 기업은 실시간 유정 생산 분석을 위해, 시추 공정 전반에 걸쳐 센서의 데이터를 사용합니다. 재무 및 정보 데이터 흐름에 포함시킬수 있도록, 실시간, 상시, 내부, 외부 데이터 피드들을 결합시킵니다. 기업은 이러한 방대한 데이터 흐름을 다양한 목적으로 사용할 수 있습니다.
- 굴착 장치 및 기타 기반 시설의 문제를 신속하게 수리하기 위해
- 유지 관리가 언제 발생해야 하는지 예측하기 위해
- 가격과 고객 요구의 변화에 따라 언제 어떤 장비를 가동할지 결정하기 위해
- 금융가와 협력하여 현금 관리와 자본에 접근하기 위해
기업은 이러한 데이터 흐름을 사용하여 비생산 시간(NPT, Non-Productive Time )을 줄이고, 비용을 절감하며, 자본 시장을 활용하고, 기회를 이용합니다. 그러나 이 모든 데이터를 가져와 처리하는 능력은 느리고, 제한된 데이터 처리 작업으로 인해 심각한 장애를 받았습니다.
이러한 이유로 가장 필요한 시간과 장소에서 데이터를 사용할 수 없었기 때문에, 기업에서는 매주 수백만 달러를 절약하거나, 더 많은 돈을 벌 수 있었던 결정을 내리지 못하였습니다.
기존 리소스는 모든 지점에서 취약했습니다.
- 수집 기능은 대량의 내부 및 외부 데이터 흐름을 적시에 처리할 수 없었습니다.
- 처리 기능은 실시간 스트리밍 데이터를 과거 데이터와 통합할 수 없었고, 회사가 액세스할 수 있는 모든 데이터를 사용하여 의사 결정을 내리는 데 비용이 발생했습니다.
- 분석이 느렸습니다. 시간이 돈인 비즈니스에서 답변을 기다리는 것은 참을 수 없었습니다. 기업은 지역별로 새로운 예산을 지속적으로 생성하고 테스트할 수 있어야 하지만, 느린 분석은 유연성을 크게 제한했습니다.
- 분석을 위한 동시성은 열악했습니다. 기업은 ad-hoc 쿼리, BI(Business Intelligence)툴 쿼리, 앱의 API 호출 모두가 동시에 데이터베이스에 도달하도록, 현재와 원하는 모든 사용자를 한 번에 지원할 수 없었습니다. 사용자가 더 많은 분석을 원하거나 BI 툴 사용자가 늘어나거나, 새로운 앱이 추가되면, 모든 사용자의 결과가 느려졌습니다.
기업은 약점을 재무예측이라고 판단했습니다. 이 모든 데이터를 통합하여 견고한 예산을 생성하고, 리스크를 가장 효과적으로 관리하기 위해 서로 다른 시나리오에 대해 테스트할 수 있다면, 공격적인 경쟁에서 앞서 나갈 수 있을 것으로 판단했습니다.
신중한 조사 후에, 결과를 수집, 처리, 전달 속도를 높일 수 있고, 동시성을 높일 수 있는 SingleStore 데이터베이스가 선택되었습니다. 이 새로운 시스템은 7개월 만에 범위 지정, 구축, 생산 분야에 도입되었습니다. 그 결과, 비용이 절감되고 유연성, 관리 용이성, 수익성이 향상되었습니다.
비즈니스 문제
기업은 지속적으로 새로운 고객을 찾고 기존 고객과 협상합니다. 다른 상장 기업과 마찬가지로, 상세한 재무 보고 요구 사항을 충족하고 지역별로 수익, 비용, 손익을 정확하게 예측한 다음, 이러한 예산을 기업 전체에 합산해야 합니다.
이 중 어느 것도 쉽지 않습니다. 셰일 석유 회사의 운영은 기존 석유 및 가스 가격에 크게 의존합니다. 수익을 얻으려면, 생산 비용이 상품 가격보다 낮아야 하기 때문입니다. 이러한 비용에는 드릴링 및 완성 비용, 배송 비용, 운영 비용, 세금 등이 포함됩니다. 회사는 감퇴 곡선(decline curve)을 사용하여 유정의 수명 동안 생산량 감소율을 살펴보고, 주어진 유정에 대해 예상되는 최종 회수율(EUR, Estimated Ultimate Recovery)을 결정하기 위해 노력합니다. 분기별이 아니라, 매일 매일의 경제를 올바로 확보하는 것은 상품 가격 변화의 영향을 고려할 때 이들 기업에 필수적인 요소입니다.
유가가 충분히 높을 때 생산하는 유정은 상당히 수익성이 있을 수 있습니다. 오늘날의 디지털 오일 필드(Digital Oilfield)는 IoT 지원 장치, 센서, 시스템을 사용하여 비용을 절감하고, 성능을 개선하고, 안전을 강화하고, 가동 중지 시간을 최소화하고, 운영 효율성을 높입니다. 매우 복잡하고 값비싼 장비를 유지 관리하고, 예측 분석을 사용하여 예방 장비를 유지 관리하고, 공급망을 관리하는 것은 모두 IoT로 개선된 영역입니다.
회사의 IoT 투자의 결과로, 비즈니스는 시추 장비에 있는 수많은 센서에서 나오는 정보 흐름을 관리하고 중앙 집중화할 수 있게 되었습니다. 기업은 각 센서를 독립적으로 관리하는 대신, 이제 유량에서 온도, 압력, 진흙 펄스의 원격 측정 신호에 이르기까지 모든 것을 전체적으로 볼 수 있습니다. 그들은 잠재적인 지역을 광범위하게 프로파일링하고 개발할 지역을 선택할 수 있습니다. 또한, 실시간 데이터를 사용하여 굴착 장치를 온라인 및 오프라인으로 전환할 시점과 기존 유정을 운영할 시점을 결정할 수 있습니다.
자본 요건을 충족하기 위해 차입하는 비용도 변수입니다. 회사가 유정을 운영하는 각 지역에는 자체 예측과 예산이 있습니다. 각 지역의 예측 및 예산 책정 프로세스를 지원하기 위한 모델링은 비즈니스 고유의 어려움과 관련된 변수의 수(많은 결정에서 1,000개 이상)로 인해 큰 과제입니다.
리소스 관리 및 예산 책정은 중요한 비즈니스 요구사항입니다. 필요한 의사 결정 프로세스를 지원하는 올바른 데이터 인프라와 인프라를 실행할 올바른 인력을 보유하는 것은 현장에 올바른 장비와 인력을 보유하는 것만큼이나 중요합니다.
석유 및 가스 회사의 이전 인프라에서는 예산 할당이 2배 이상 증가했습니다. 즉, 기회의 크기와 이를 추구하기 위한 자금의 필요성은 분기 동안 2배 이상 쉽게 변동할 수 있습니다. 비즈니스는 최적화되지 않은 의사 결정으로 인해 돈을 잃었고, 비즈니스에서 자금을 충분히 빠르게 재할당하지 못했기 때문에 기회를 잃었습니다. 또한 기업은 수익을 정확하게 예측할 수 없었습니다. 이 모든 것이 회사의 재무 결과에 해를 끼쳤습니다.
기술적 과제
이 기업은 광범위한 데이터 소스를 보유하고 있었으며, 기존 시스템에 과부하가 있었고, 처리 요구사항이 증가하고 있었으며, 쿼리 양과 사용자 수 모두에서 분석 요구사항이 계속 증가하고 있었습니다. 인간 분석가, BI 툴, 재무 대시보드, 애플리케이션 및 머신러닝 모델이 분석 액세스를 위해 경쟁함에 따라, SLA(서비스 수준 협약)의 응답시간이 하락하고 있기 때문에, 동시성 SLA에 대한 요구가 증가하고 있습니다.
이 기업은 MapR을 결합하여 수신 데이터를 축적하고, ElasticSearch를 사용하여 분석을 강화했습니다. 하지만, 시스템에 대한 내부 의견은 좋지 않았습니다. 평가 팀의 한 구성원은 MapR을 거칠게 설명했습니다. “저기 땅속 구멍이 있어. 이제 그걸 넣고 불을 붙이면 돼.” MapR Technologies기업은 작년에 Hewlett-Packard Enterprise(HPE)에 매각되었습니다.
ElasticSearch는 Apache Lucene에 구축된 "텍스트, 숫자, 지리 공간, 구조화 및 비구조화를 포함한 모든 유형의 데이터를 위한 분산형 오픈 소스 검색 및 분석 엔진"입니다. ElasticSearch는 혼합 데이터와 함께 사용하기에 가치가 있지만, 이전에 의견을 표명 한 NoSQL 솔루션 입니다. SQL을 지원하는 관계형 데이터베이스는 머신당 분석 실행 속도가 훨씬 빠르고 호환성이 훨씬 뛰어납니다. SingleStore와 같은 NewSQL 솔루션은 이러한 효율성을 활용하여 일반 서버의 분산 클러스터 전반에 걸쳐 원활하게 확장합니다.
그들이 겪고 있는 열악한 결과에 직면하여 기업은 SingleStore 외에 4가지 대안 솔루션을 고려했습니다. 대안 중 하나인 Oracle은 관계형 데이터베이스 솔루션입니다. 나머지 세 가지는 NoSQL 솔루션입니다. SingleStore로의 교체는 아래의 이유로 결정하게 되었습니다.
1. 분석을 위한 Elasticsearch의 확장된 사용
Elastic Search는 기본적으로 업데이트를 안정적으로 수행할 수 있는 능력과 진
정한 SQL 기능 등 ACID를 보장하지 않습니다. 성능이 요구 사항에 미치지 못하고
확장성도 부족합니다.
2. 프로세싱을 위한 MapR의 확장된 사용
MapR은 Elasticsearch와 동일한 전반적인 특성과 우려를 가지고 있으며 소프트
웨어를 판매하고 지원한 회사의 심각한 비즈니스 문제도 있습니다.
3. 몽고DB
세 번째 NoSQL 경쟁자인 MongoDB는 다른 두 제품보다 주류 워크로드에 더 널
리 사용됩니다. 그러나 Mongo는 여전히 ACID 보장과 진정한 SQL 기능의 부족으
로 어려움을 겪고 있습니다. 성능이 떨어집니다.
4. Oracle의 Exadata
Oracle을 확장하는 것은 비용이 많이 들고 비효율적입니다. Exadata의 가격이나
성능 모두 기업에 매력적이지 않았습니다.
5. SingleStore
선도적인 NewSQL 데이터베이스인 SingleStore는 아래와 같이 기업이 필요로 하
는 가격, 성능, SQL 지원을 갖추고 있습니다. 예를 들어, SingleStore는 Oracle보
다 훨씬 원활하게 확장되어 1/4의 비용으로 10배의 성능을 제공합니다 .
문제 해결
석유 및 가스 회사는 회사 수준에서 투자할 가치가 있는 큰 문제가 있음을 깨달았습니다. 그래서 그들은 솔루션에 대한 요구 사항을 설정하는 것으로 시작했습니다.
- CEO 수준의 가시성
- 글로벌 가용성 – 초기 기명 사용자(Named User) 300명 이상
- 약 8GB/sec의 대량 수집을 포함한 방대한 데이터 볼륨
- 초당 수백만 개의 행(매우 넓은 테이블)의 지속적인 업데이트
- 총 컴퓨팅 – 클러스터 2개, CPU 3200개, 메모리 30TB
- 대화형 분석 – 차트를 표시하는 데 3초 미만
- Oracle, Spark 및 빅 데이터(MapR)와 통합
- .NET으로 작성된 금융 애플리케이션 지원
- 가장 빠른 실행 기간(SingleStore의 경우 단 7개월)
SingleStore는 신중하게 고려되었으며 핵심 비즈니스 문제뿐만 아니라 몇 가지 추가 문제도 해결하는 것으로 나타났습니다. 다음은 SingleStore 솔루션의 주요 기술적 특징입니다.
- 빠른 시장 출시
배포 작업 시작부터 솔루션의 첫 번째 버전을 배포하는 데 이르기까지 7개월의 목표가 설정되었습니다. - 시스템 성능
성능 요구 사항은 첫날부터 충족되었습니다. 또한 다른 공급업체와 달리 성능을 최적화하고 요구 사항을 충족하기 위해 외부 컨설팅 서비스가 필요하지 않았습니다. - 쉬운 통합
기존 시스템(Oracle, .NET 및 기존 빅데이터 솔루션(MapR))과 통합된 SingleStore 솔루션을 즉시 사용할 수 있습니다. - 단순성
SingleStore는 데이터베이스 공급업체 및 데이터베이스 제품 통합, 단순성 및 성능을 위해 Elasticsearch 및 MapR을 대체하는 데 사용되었습니다. - 손쉬운 스케일 아웃(scale-out)
시스템을 20대에서 40대로 스케일 아웃하는데 하룻밤 사이에 완료되었습니다. - 쉬운 기존 기술의 재사용
사내 Oracle 기술은 SingleStore 시스템을 관리하는 데 쉽게 사용되었습니다.
이전의 NoSQL 솔루션 (Elasticsearch 및 MapR)과는 달리 SingleStore는 SQL의 친숙함, 관계형 데이터베이스 관리 시스템(RDBMS) 고유의 ACID 기능, 그리고 SingleStore의 속성인 분산 시스템의 성능과 확장성을 제공했습니다. 일반적으로분산 시스템의 성능과 확장성은 NoSQL 솔루션에서 찾을 수 있고, SQL 호환 시스템에서는 찾아볼 수 없지만, SingleStore가 제공하는 핵심 부분입니다.
가격 대비 성능이 우수한 것으로 입증되었습니다. 기능 면에서 SingleStore와 가장 가까운 경쟁자는 Oracle Exadata였습니다. 그러나 SingleStore는 많은 속성, 특히 가격 대비 성능에서 Oracle보다 일관되게 뛰어납니다. 많은 기업에서 약 1/4의 비용으로 Oracle 성능의 10배에 달하는 성능을 달성했습니다.
기업이 SingleStore로 이관하여 얻은 비즈니스 이점은 상당하며, 시간이 지남에 따라 더욱 중요해집니다.
- 이제 각 부서와 지역은 현재 비즈니스 및 석유 생산을 평가할 수 있어, 하루 중 언제든지 컴퓨터나 모바일 장치에서 예산을 예측할 수 있습니다.
- 이러한 유연성 덕분에 예측 및 예산은 이제 기업의 주요 경쟁 우위입니다. 그들은 가용 자본과 물리적 공장을 다른 사람들보다 더 효율적으로 활용할 수 있고, 시장 상황에 더 잘 대처할 수 있습니다.
- 최근 몇 년 사이에 유가 및 가스 가격의 변동성이 증가하면서, 이러한 유연성은 이 기업과 같은 승자를 다른 회사와 구분하는 데 도움이 됩니다.
SingleStore로의 이관은 회사의 시가 총액 및 주가에서 볼 수 있듯이 강력한 수익과 수익성에 기여했습니다.
첫 번째 IoT 프로젝트 성공 후, 이 선도적인 석유 회사는 추가 재무 예측 활용 사례, 토지 계약 분석, ERP 보고 등 광범위한 애플리케이션으로 SingleStore의 사용을 크게 확대했습니다.
결론
이 선도적인 석유 및 가스 회사에 SingleStore가 도입되면서 성능 향상, 시스템 설계 간소화, 새로운 기능, 다양한 애플리케이션을 위한 새로운 데이터 백본(backbone) 등 많은 혁신이 이루어졌습니다. 오늘날, SingleStore는 회사 내에서 더욱 폭넓게 사용할 수 있도록 고려되고 있습니다.
May 2nd, 2020
SingleStore Improves Financial Operations for a Major Oil and Gas Company
IoT data floods into financial applications for a major oil and gas company - and SingleStore powers their core .NET application, edging out Oracle and others.
www.singlestore.com
※ www.a-platform.biz | info@a-platform.biz
'SingleStoreDB > 사례연구' 카테고리의 다른 글
| [사례 연구, CME] 시카고 상업거래소를 역설계한 방법 (0) | 2021.08.24 |
|---|---|
| [사례 연구, IEX Cloud] 일 25억건의 API 요청을 평균 8ms로 응답 (0) | 2021.08.23 |
| [사례 연구, 에너지] 업계 최고의 가스 및 전력 유틸리티 기업의 스마트 미터 데이터 관리 (0) | 2021.08.20 |
| [사례 연구, Infiswift] IoT와 AI 애플리케이션의 분석 기능을 강화한 방법 (0) | 2021.08.20 |
| [사례 연구, 금융] 머신러닝기반 실시간 이상거래 탐지(미국 메이저 은행) (0) | 2021.08.10 |
