[사례 연구, IEX Cloud] 일 25억건의 API 요청을 평균 8ms로 응답

기존 "금융 데이터 제공" 서비스들은 현대 기술을 감안하여 구축되지 않았습니다. 그것들은 혁신적인 금융 애플리케이션을 지원하는 데 필요한 규모와 속도를 따라가지 못합니다. 너무 비싸고 제한적이며 복잡한 솔루션으로 인해 소규모 개발사는 시장에서 소외되고 있습니다.

---

금융 산업은 기술 현대화와 관련하여 다른 시장에 오랫동안 뒤쳐져 왔습니다. 팬데믹 이전에는 금융 서비스 조직의 55% 만이 디지털 혁신 계획을 구현하기 위한 조치를 취했습니다. 팬데믹은 많은 기업의 프로세스를 가속화하는 데 도움이 되었지만 여전히 레거시 시스템과 비효율적인 운영과 씨름해야 했습니다.

​

IEX 그룹의 IEX Cloud는 모든 사람이 양질의 금융 데이터와 서비스에 엑세스할 수 있도록 하는 혁신적인 금융 데이터 제공 플랫폼으로 이 문제를 해결했습니다.

​

모회사인 IEX Group은 공정한 시장 구축이라는 단순한 사명으로 2012년에 설립되었습니다. 수백만 명의 저축을 대표하는 뮤추얼 펀드 및 연기금과 같은 장기 투자자를 위한 공정한 경쟁을 위해 투명성과 데이터 액세스에 중점을 둔 Investors Exchange라는 새로운 증권 거래소를 만드는 것으로 시작했습니다.

​

IEX Cloud는 2019년 1월에 설립되었습니다. IEX Cloud의 기술 책임자인 Josh Blackburn은 다음과 같이 말했습니다.

​

IEX Cloud의 비전은

핀테크와 대기업 및 중소기업뿐 아니라 개별 개발자와 투자자 커뮤니티에

동급 최고의 데이터를 제공하는 활기찬 데이터 생태계를 조성하는 것입니다.

업계는 혁신에 필요한 데이터에 대한 액세스를 제한하는 장벽으로 인해

오랫동안 제약을 받아 왔습니다.

-- Josh Blackburn --

금융 애플리케이션을 구축 및 확장하는 더 나은 방법 개척

IEX Cloud의 우선 순위는 다음과 같습니다.

​

• 이러한 장벽을 허물고 전체 생태계에 더 나은 서비스를 제공하기 위해 지속적으로 재창조한다.
• 사용하기 쉽고 합리적인 가격에 사용할 수 있는 고품질 데이터를 커뮤니티에 제공하여 금융 데이터 산업의 현상황에 도전한다.
• 개발자가 효율적으로 빌드하고 빠르게 반복할 수 있도록 강력한 기능 세트를 제공한다.
• 법적 절차를 간소화하고 액세스를 현대화하며 유연한 가격 책정을 지원한다.

​

이 플랫폼은 사용된 데이터를 기반으로 하는 유연하고 확장 가능한 가격 책정 모델을 통해 개발자에게 강력한 기능을 제공했습니다. 고객은 장기 계약과 상당한 선지급금에 구속되지 않습니다. 대신, 핵심 데이터와 프리미엄 데이터를 분할된 하나의 구독으로 다양한 기관급 데이터 세트에 대한 개방형 액세스를 제공합니다.

​

핵심 데이터에는 다음이 포함됩니다.​

• 실시간 및 과거 주가
• 기업 활동
• 전체 미국 시장 커버리지
• 암호화폐
• 외환
• 상품
• 경제 데이터
• 참조 데이터
• IEX 투자자 거래소 데이터
• 95,000개 이상의 증권
• 20개 이상의 거래소
• 100개 이상의 통화 쌍
• 그리고, 기타 등등

​

프리미엄 데이터는 다음과 같이 성장하는 선별된 파트너 커뮤니티에서 제공되고 있습니다.

• ​Wall Street Horizon
• Fraud Factors
• Audit Analytics
• ValuEngine
• Stocktwits
• 그리고, 기타 등등

​

IEX Cloud는 개발자 친화적으로 설계되어 데이터를 프로젝트에 최대한 쉽게 통합할 수 있습니다.​

• 모든 데이터는 단일 API를 통해 액세스(REST 기반, 리소스 지향 URL, JSON 인코딩 응답, 표준 HTTP 응답 코드)
• C++, Go, .NET, R, Node.js, Python, Java, PHP, Ruby 지원
• 주문형 및 스트리밍 데이터 가용성.
• 코드 없는 룰 엔진(no-code Rules Engine): 사용자 지정 이벤트 기반 경보 및 데이터 기반 조건을 통해 서버리스 데이터 분석 자동화
• 무제한 샌드박스 테스트: 개발자에게 무료 API 호출하여, 재무 데이터를 실험할 수 있는 환경 제공
• 클라우드 기반 캐싱: 데이터 저장, 확장, 고가용성, 모니터링 및 관리를 자동화하는 완전 관리형 서비스 제공
• 확장 가능한 인프라가 부족한 일부 스타트업을 위해 개발자의 백엔드 역할을 할 수 있는 플랫폼 제공
• 사용자가 즉시 시작할 수 있도록 가입 절차 자동화

​

데이터 작성자는 IEX Cloud를 턴키 배포 플랫폼으로 사용하여 데이터를 배포하고 상용화할 수 있습니다. 플랫폼은 다음을 통해 전체 데이터 전송 프로세스를 관리합니다.​

• API 관리 및 확장
• 사용량 추적
• 고객 빌링
• 모든 오버헤드 처리
• 데이터 정규화 및 기호 통합

​

이러한 고객은 자신의 데이터를 IEX Cloud에 통합하고 증가하는 글로벌 사용자 기반에 즉시 액세스하거나 기존 고객에게 배포할 수 있습니다.

​

IEX Cloud 고객이 플랫폼을 사용하는 방법

IEX Cloud의 유연성과 접근성은 다음과 같은 광범위한 사용 사례를 지원했습니다.​

• 실시간 데이터가 필요한 프론트 오피스 트레이더
• 거래 장부 및 주문 관리 솔루션 구축
• 시장 데이터와 포트폴리오에 대한 귀속 영향의 위험 이해
• 백오피스 운영 및 조정 지원
• 뉴스 보도, 이벤트 및 IEX Cloud의 API를 통해 선택한 비즈니스 인텔리전스(BI) 솔루션에 원활하게 전달되는 데이터 스트림을 통해 IR(Investor Relations)팀에 회사 및 주변 경쟁업체의 상황에 대한 최신 정보 제공
• IR이 유연한 플랫폼을 통해 재택 근무 환경에 맞게 레거시 워크플로를 조절할 수 있도록 지원

​

스타트업은 IEX Cloud에서 특별한 가치를 얻습니다. IEX Cloud의 파트너십 관리자인 Dave Hannibal은 이 고객 세그먼트에 대한 플랫폼의 이점을 설명했습니다.

저희는 확장을 돕습니다.

수백만 명의 사용자가 있는 본격적인 핀테크가 되기 위해

아이디어를 얻거나 낼 수 있습니다.

​

우리는 그들과 함께 일할 수 있고,

그 과정 내내 그들을 보살피고, 그들과 함께 즉시 확장할 수 있습니다.

​

그들은 우리와 함께 일할 필요가 없습니다.

우리가 플랫폼에 계속해서 더 많은 데이터를 추가함에 따라

그들은 그냥 가져갈 수 있습니다.

​

우리는 그들이 확장하고 가치 제안을 실현할 수 있도록 지원합니다.

​

우리와 함께 구축하고, 우리를 통합하고, 점점 더 많은 데이터를 위해

우리를 활용하는 핀테크가 전 세계에 있습니다.

​

기존 프로세스를 재실행할 수 있는 새로운 방법을 모색하는

신규 스타트업과 기존 업체 전반에 걸쳐 지속적으로 성장하고 있습니다.

-- Dave Hannibal --

​

​

IEX Cloud가 확장하기 위해 적합한 데이터베이스 찾기

IEX Cloud는 플랫폼에 대한 야심 찬 목표를 가지고 있었지만 현대 금융 애플리케이션에 필요한 속도와 규모를 제공하기 전에 많은 기술적 문제를 해결해야 했습니다. 또한 베타를 시작하고 실행하는 데 3개월 밖에 없었습니다.

​

Blackburn의 플랫폼 데이터베이스 목표입니다.

보통, 당신은 데이터를 각기 다른 데이터베이스로 분할할 것이지만,

나는 전처에 있는 여러 데이터베이스가 아닌,

모든 것을 하나의 스토어로 통합하기를 원합니다.

​

Amazon Redshift 또는 Snowflake는

많은 양의 과거 데이터를 저장하고 분석을 수행하는 데 적합합니다.

그러나,

어느 데이터베이스도 웹 개발자, 웹 사이트 또는 재무 데이터에 대한

실시간 SLA(Service Level Agreement)를 충족하지 않습니다.

우리는 실시간 사용 사례와 내부 데이터의 양에 관계없이 사용자 수에 맞게 확장할 수 있는

전달 플랫폼(Delivery Platform)을 원합니다.

-- Josh Blackburn --

IEX Cloud는 몇 가지 데이터 세트로 시작하고 실행하기 시작했습니다. 관리형 MySQL 데이터베이스는 광범위하게 지원되고 실행이 빠르고 초기 단계 시작에 비용 효율적이기 때문에 처음에 선택되었습니다.

​

플랫폼은 빠르게 성장하여 성능 문제에 부딪쳤습니다. 팀이 더 많은 데이터를 추가하기 시작하고 시작 단계를 넘어서면서 더 많은 웹 규모가 필요했습니다.

​

무료 데이터베이스는 무료가 아님

팀은 즉각적인 고통을 완화하기 위해 Clickhouse를 선택했습니다. 야간 ETL 프로세스에 대한 쓰기 속도가 빠른 무료 솔루션이었습니다.

​

그러나, 무료는 무료가 아닙니다. Clickhouse 최적화는 SRE(Site Reliability Engineers) 타임의 많은 부분을 소비했습니다. 클러스터링은 광고된 대로 작동하지 않았고 너무 많은 동시 읽기로 인해 중단되었습니다. 그것은 대규모 분석 쿼리와 소수의 사용자를 위해 만들어 진 것입니다.

​

IEX Cloud의 사용자 기반은 증가하고 있었고, Clickhouse는 수백만 개의 작은 읽기를 지원할 수 없었습니다. 시계열 데이터 속도에는 훌륭했지만 너무 엄격했습니다. 이 시점에서 팀은 MySQL, Clickhouse 및 Redis에 데이터를 저장했습니다.

​

영구적인 데이터베이스 기술 찾기

IEX Cloud의 첫해와 매출이 눈앞에 다가온 후, 그들의 요구를 충족하고 비즈니스와 함께 확장할 수 있는 데이터베이스 솔루션을 찾아야 할 때였습니다. 팀은 데이터베이스를 다시 마이그레이션하고 싶지 않았습니다.

​

재무 데이터는 복잡하고 다양한 형태로 제공되며 작성 후 변경될 수 있습니다. IEX Cloud용 데이터베이스 기술은 이러한 과제를 해결해야 했습니다. Blackburn이 설명했습니다.

우리는 전 세계의 모든 데이터 세트를 사용자를 위한

하나의 형식과 하나의 API 서명으로 표준화하려고 노력하고 있습니다.

그것은 배우기가 더 쉽습니다.

데이터를 추가하면 시스템에서 쉽게 사용할 수 있게 됩니다.

​

우리는 사용자에게 동적 메타데이터를 제공하여

시스템의 새로운 데이터를 알릴 수 있기를 원합니다.

API에 액세스하는 라이브러리 유지보수관리자 또는 개발자가 있으면,

하나의 표준 방식으로 액세스합니다.

모든 날짜가 동일하고 모든 요청 형식이 동일합니다.

-- Josh Blackburn --

IEX Cloud에 대한 기타 기술 요구 사항은 다음과 같습니다.

​

• 동적으로 변화하는 트래픽 프로파일과 변동성이 큰 시장을 고려하여 수평으로 확장 가능
• 엄청난 읽기 및 쓰기 속도
• 빠른 벌크 데이터 로딩
• 관리 용이
• 양질의 지원
• 광범위한 커뮤니티와 풍부한 인재 풀을 갖춘 표준 기반 데이터베이스 기술
• 특정 데이터 포인트에 대한 주문형 쿼리
• 실시간 업데이트를 위한 서버 전송 이벤트 스트리밍
• 룰 엔진에 대한 데이터 필터링
• 실시간 SLA 충족
• 다양한 기존 및 대체 재무 데이터 소스 지원
• 실시간 및 과거 데이터를 동시에 저장 및 제공
• 모든 규모의 데이터와 사용자를 위한 규모에 맞는 데이터 제공
• 초당 수천 개의 데이터 포인트를 평가하는 기능
• 비즈니스 모델의 실행 가능성을 지원하는 비용 효율성
• 데이터의 즉각적인 가용성
• 매일 수백 개의 데이터셋에 대한 신속한 ETL 지원, 향후 최대 수천 개까지 확장 가능

​​

금융기관용 SingleStore DB의 장점

IEX Cloud는 KDB, Postgres, CitrusDB, BigQuery, MySQL Enterprise, Yugabyte, Vertica, Sybase, Cassandra, Cockroach를 포함하여 그들의 최근 동향에 대해 많은 데이터베이스를 평가했습니다. 그러나 각 옵션은 SingleStore를 제외하고 팀이 제공하고자 하는 모든 사용 사례를 해결하는 데 부족했습니다.

​

SingleStore는 장소에 관계없이 모든 데이터에 대한 빠른 분석을 위한 통합 데이터베이스입니다. IEX Group이 Investors Exchange를 개발할 당시 7년 동안 IEX 그룹의 레이더에 있었습니다. SingleStore 기술에 대한 친숙함으로 인해 IEX Cloud는 2020년 중반에 새로운 플랫폼을 위해 SingleStore를 다시 검토했습니다.

​

SingleStore DB는 속도, 규모 및 민첩성을 위해 구축된 클라우드 네이티브 통합 데이터베이스입니다. 오늘날 가장 까다로운 하이퍼스케일 애플리케이션 및 분석 시스템에 맞게 확장할 수 있도록 설계되었습니다. 초고속 수집, 매우 짧은 대기 시간, 높은 동시성, 어디서나 빠르게 시작할 수 있는 기능으로 혁신적인 금융 조직을 위한 강력한 기능을 제공합니다.

​

SingleStore DB 분산 데이터베이스를 통해 금융 기술 기업은 오늘날의 통찰력 중심 경제에서 번영하기 위해 데이터를 쉽게 캡처, 처리, 분석 및 조치할 수 있습니다. 공용 클라우드, 하이브리드 클라우드, 멀티 클라우드 또는 범용 하드웨어 상의 온프레미스에서 이 솔루션을 실행할 수 있으므로 레거시 공급자보다 훨씬 적은 비용으로 용량을 쉽게 추가할 수 있습니다. 친숙하고 개발자 친화적인 SQL로 구축되었기 때문에 시작하는 것은 기본적으로 간단합니다.

​

금융 서비스 기업이 기술을 현대화하는 데 도움이 되는 SingleStore 기능은 다음과 같습니다.

​

• 엔터프라이즈 규모의 운영 분석을 제공하기 위한 메모리 최적화 데이터베이스
• ACID 트랜잭션으로 초당 수백만 개의 이벤트를 수집하는 동시에 관계형 SQL, JSON, geospatial, Full-Text Search(FTS) 형식으로 수십억 개의 데이터 행을 분석
• 애드혹(ad-hoc) 데이터 분석
• 높은 동시성을 유지하면서 안정적인 데이터베이스 성능을 자동으로 제공하는 워크로드 관리
• 복원력과 성능을 극대화하는 분산 스토리지
• 페타바이트(PB) 규모의 데이터 지원
• 초고속 성능을 제공하는 읽기 및 쓰기 쿼리를 위한 강력한 병렬 실행 엔진
• 인메모리 로우스토어(rowstore) 및 온디스크 컬럼스토어(columnstore) 테이블
• 데이터베이스 성능을 저하시키지 않으면서 민감한 재무 데이터에 대한 포괄적인 보안​

 

SingleStore가 IEX Cloud의 모든 사례를 해결하고 성장을 주도한 방법

금융 시장은 많은 실시간 데이터를 생성합니다.

우리는 그 모든 것을 저장하고 동시에 서비스해야 합니다.

그것은 데이터베이스 세상에서는 거의 불가능합니다.

-- Josh Blackburn --

운 좋게도 SingleStore는 IEX Cloud에서 불가능을 가능하게 했습니다.

​

SingleStore는 IEX Cloud에 대한 모든 요구 사항을 충족하고 시작 시 비용 효율적인 유일한 데이터베이스였습니다. 또한 MySQL 와이어 프로토콜을 지원하여 팀이 기존의 모든 코드와 라이브러리를 사용하여 수개월간의 마이그레이션 작업을 절약할 수 있습니다.

​

초기 통합은 다른 소프트웨어의 경우와 마찬가지로 즉각적인 마법이 아닙니다. IEX Cloud에는 고유한 요구 사항이 있었고 SingleStore는 이러한 고유한 빌드를 신속하게 구축하고 실행할 수 있도록 대응력과 지식을 갖춘 지원을 제공했습니다.

​

당시 데이터 세트는 테라바이트(TB) 단위로 작았지만, 팀 로드맵에는 매일 1000억 개 이상의 레코드가 있습니다. 그들은 플랫폼이 성장함에 따라 페타바이트까지 자동으로 수평적으로 확장할 수 있는 기반을 원했습니다.

​

또한, 데이터베이스의 배포 및 관리 프로세스가 성숙했으며, SingleStore는 신속하게 롤아웃을 지원했습니다. 그들은 인터페이스와 매우 빠른 네트워크 때문에 구현을 위해 Google Cloud Services(GCS)를 선택했습니다. Kafka 및 GCS 파이프라인에 대한 SingleStore의 기본 지원을 통해 IEX Cloud는 ETL 프로세스를 자동화할 수 있었습니다. 따라서 팀은 GCS 버킷을 가리키기만 하면 됩니다.

​

Blackburn은 재무 데이터 작업에 내재된 복잡성에 대해 자세히 설명했습니다.

재무에서 흥미로운 점은 특정 시점을 분석할 때입니다.

무엇이 시장에 영향을 미치고 왜 그런 일이 일어났는지 알고 싶습니다.

영향을 미칠 수 있는 수백 개의 데이터 세트가 있는 경우

분석해야 하는 데이터 세트가 더 많아집니다.

​

저희는 스토리지를 판매하는 비즈니스가 아니라

데이터가 필요한 곳으로 데이터를 제공하고

해당 경제 모델을 최우선으로 하는 비즈니스를 하고 있습니다.

​

Snowflake나 AWS와 같은 다른 플랫폼을 비해

우리의 전달 플랫폼은 볼트온(bolted-on) 형태입니다.

​

"내 전달을 어떻게 표준화합니까?"

또는

"금융 공간의 인증, 권한 및 모든 복잡성과 메타데이터에 대해 어떻게 작업합니까?"

에 의도적으로 초점을 맞추는 것이 아닙니다.

​

그것은 단순한 재무 데이터 문제가 아닙니다.

많은 사람들이 데이터를 표준화하고 전달하는 데 문제가 있습니다.

해당 데이터를 어떻게 수익화하거나 제공합니까?

우리는 모든 데이터를 표준화하여 데이터를 효율적으로 만들고

돈이 많지 않은 사람들이 액세스할 수 있도록 해야 합니다.

​

이러한 모든 사례에 대해

SingleStore가 해결하였습니다.

-- Josh Blackburn --

​

공생적인 SingleStore 파트너십의 협업 잠재력

IEX Cloud와 SingleStore의 파트너십은 데이터베이스 기술을 사용하는 것 이상입니다. Hannibal은 이 관계의 협력적이고 상호보완적인 성격과 미래 가능성에 대해 논의했습니다. 고객은 데이터 배포에 IEX Cloud를 사용하고 마스터 데이터 프로젝트에 SingleStore를 사용할 수 있습니다.

SingleStore가 데이터베이스를 제공하는 곳에서

우리는 SingleStore의 클라이언트에게도 부가 가치가 되는

완전한 분산 플랫폼을 만들기 위해 독특한 방식으로 그것을 사용했습니다.

​

SingleStore와 IEX Cloud의 공생을 빠르게 확인할 수 있습니다.

그것은 업계의 다른 플레이어와 다릅니다.

그래서 비즈니스 관점에서 매우 흥미롭고 매력적이었습니다.

-- Dave Hannibal --

​

SingleStore DB로 IEX Cloud가 달성한 성과

IEX Cloud는 재무 데이터 플랫폼에 SingleStore DB를 채택한 후 크게 성장하여 다음과 같은 결과를 얻었습니다.

​

• 매일 25억 개 이상의 API 요청을 평균 응답시간 8ms로 처리

• 200개 이상의 재무 데이터 세트

• 내부 데이터 처리: 초당 400,000-800,000 ops

• 일일 초당 수신 60-100MB / 송신 120-160MB

• 단지 2년 만에 120개국 150,000명의 사용자 확보, 다운스트림 고유 사용자 2천만 명

• 이전 데이터베이스 대비 10-15배 속도 향상

• 성능 및 기능 요구 사항을 충족하도록 MySQL을 확장하는 것보다 비용 효율적

• MySQL에서 SingleStore DB로 전환할 때 20명의 팀에서 약 2명의 정규직 인력 절약

• ETL 프로세스 실행 시간 단축: 며칠 -> 몇 분

​

이 시스템 업그레이드는 IEX Cloud의 중요한 단계였습니다.

우리가 즉각적인 데이터 제공을 확장했기 때문만은 아닙니다.

이면에서 우리는 데이터의 품질, 적용 범위 및 적시성을

지속적으로 향상할 수 있도록 동급 최고의 데이터 작성자와 파트너십을 공고히 했습니다. 한편, 접근 가능한 가격대로 귀중한 데이터 세트를 계속 제공할 수 있습니다.

그 결과,

개인과 기업 전반의 요구 사항을 충족하는 재무 데이터에 대한

완전히 새로운 비즈니스 모델이 탄생했습니다.”

-- Josh Blackburn --

​

IEX Cloud의 다음 목표

IEX Cloud는 2021년에 대한 야심찬 로드맵을 가지고 있습니다. 데이터를 온보딩하고 API를 통해 더 빠르게 가져올 수 있는 기능은 플랫폼에서 사용할 수 있는 데이터와 적용 범위를 확장하여 최종 고객 경험을 개선합니다.

​

향후 기능 및 재무 데이터 유형에는 포괄적인 참조 데이터 모델, 글로벌 지수 범위, IPO 일정 데이터, 147개의 글로벌 기업 활동 이벤트 유형, 글로벌 선물 종가 및 참조 데이터, 과거 고정 수입 데이터가 포함됩니다.

​

운영 분석을 위해 세계에서 가장 빠른 데이터베이스의 힘을 활용할 준비가 되셨습니까? 무료로 SingleStore DB를 시작하거나 협업할 수 있는 방법에 대해 논의하려면 당사에 문의하십시오.

​

​

July 2nd, 2021

 

---

출처: https://www.singlestore.com/blog/iex-cloud-processes-over-2-5b-api-requests-daily-with-an-8ms-average-response-time-using-singlestore/

IEX Cloud Processes Over 2.5B API Requests Daily with an 8ms Average Response Time Using SingleStore

 

 

​※ www.a-platform.biz | info@a-platform.biz