Epigen Technology는 핵심 툴킷의 일부로 SingleStore에 크게 의존하고 있습니다. "SingleStore 없이는, 제가 하는 일을 할 수 없습니다,"라고 에피젠의 설립자인 테리 라이스는 말합니다.
Epigen Technology는 소프트웨어를 사용하여 사이버 보안, 분석, 머신러닝, 인공 지능(AI)과 인지 컴퓨팅(cognitive computing)의 신규 분야를 포함하여 빠르게 변화하는 많은 기술 분야를 혁신하고 있습니다. 지금 에피젠은 AWS S3, SingleStore, 머신러닝, AI, 시각화를 결합한 클라우드 상에서 안면 인식 프레임워크를 개발했습니다.
Epigen의 설립자인 Terry Rice는 유명한 IT 컨설턴트로, 국가 안보 위협을 포함한 도전적인 문제에 대해 해결책을 제공하는 기업과 정부 고위 인사들의 신뢰를 받고 있습니다. 그는 오클라호마 대학교에서 정보 시스템과 통계학으로 이중 학위를 취득했습니다. 또한 해병대이기도 한데, 백년이 넘는 가문 전통에 따라 대학을 마치고 해병대에 합류했으며 6년간 복무를 했습니다.
Terry 는 Capgemini, Lockheed Martin, Network Solutions, Verizon과 같은 회사의 IT 컨설턴트와 소프트웨어 아키텍트로 활동을 했습니다. 또한 국토 안보부의 솔루션 아키텍트로 일하면서 정부에서도 일했습니다. 현재의 회사내에서 테리는 다양한 분야에서 혁신적인 시스템 개발을 이끌고 있습니다. 그는 블록체인, 빅데이터, 머신러닝과 AI에 관한 컨퍼런스에서 연설을 하기도 합니다. 그리고 그는 에피젠 툴킷의 핵심 부품으로 SingleStore를 사용하고 있습니다.
문제에 직면한 안면 인식
안면 인식(Facial recognition)은 AI에서 가장 어려운 주제 중 하나입니다. 고립된 정적 이미지에 대한 얼굴 인식은 향상되고 있습니다. - 페이스북을 사용하는 모든 사람들이 경험했듯이, 가족이나 친구의 사진에서 대부분의 얼굴에 대해 이름을 제안해 주고 있습니다.
페이스북의 예는 얼굴 인식을 보다 쉽게하는 몇 가지 특징을 보여줍니다.
· 조명이 밝고 해상도가 높은 정적 이미지
· 개별 얼굴(사용자의 페이스북 친구)에 대한 후보 이름의 작은 목록
· 자기 자신을 숨기려 하지 않는 대상들
· 실패에 대한 용인 - 페이스북의 경우, 확인되거나 미확인된 신원이 심각한 문제라기 보다는 성가시거나 심지어 웃어 넘길 수 있는 것임
그러나, 군대, 법 집행, 항공 운송과 같은 분야에서 에피젠의 고객들은 정적인 이미지가 아닌, 스케일링 작업과 비디오 프레임 사용을 포함하여 점점 더 어려운 상황에서 작동하는 안면 인식을 필요로 합니다.
현재 일부 공항에서는 기내 승객의 신원을 확인하기 위해 안면 인식이 사용되고 있습니다. 비교는 4단계 과정을 따릅니다.
1. 특정 항공편의 경우 모든 티켓 소지자의 여권 이미지를 벡터화하여 저장합니다.
2. 비행기 탑승을 위해 게이트에 나타나는 승객들을 라이브로 촬영합니다.
3. 실제 승객 사진은 저장된 여권 사진과 비교됩니다.
4. 실제 승객 사진이 저장된 여권 사진과 일치하지 않을 경우, 승객은 자신의 여권과 일치하는 신원을 확인하도록 요청 받습니다.
수년간의 테스트 끝에 이 시스템은 현재 12개 이상의 공항과 미국 입국장에서 사용되고 있습니다. 최근 한 사례에서 워싱턴 DC의 덜레스 공항에서 유효한 여권이었지만 자신의 여권을 사용하지 않은 승객이 탑승하는 것을 막았습니다.
현재의 접근방식은 각각의 실제 사진을 거의 1,000장의 여권 사진과 비교하도록 요구합니다(가장 큰 여객기인 에어버스 A380은 800명 이상의 승객을 태울 수 있습니다). 이것은 시작에 불과합니다. 현재, 그리고 미래의 안면 인식 시스템 사용자들은 더 많은 능력을 필요로 할 것입니다.
Epigen은 일련의 개선 작업을 하고 있습니다.
높은 정확도 – 현재 사용 사례 1,000건 중 1건. 여권 사진 데이터베이스와 대조해 승객을 확인하는데 사용되는 이 시스템은 85% 정도밖에 정확하지 않습니다. 정확도를 97%까지 향상시키는 단기적인 목표가 있고, 그 다음부터는 추가적인 개선이 요구될 것입니다.
다른 데이터베이스와 비교 – 현재는 수천 ~ 수백만 사례에 대해 각 라이브 사진은 특정 비행기 승객들의 여권 사진과 비교할 뿐이지만, 앞으로 이 시스템은 이민/세관 부서, FBI, 기타 법 집행 기관, 자동차 부서 등의 데이터베이스와 실제 사진을 비교해야 할 것입니다.
풀 모션 비디오 – 저해상도, 움직이는 이미지를 사용하는 비디오 카메라는 곳곳에 널려 있습니다. 이동중인 사람들 중에서 수배자를 자동으로 찾아내는 것은 법 집행의 중요한 목표입니다. 다른 수단으로는 저지하기 어려운 우선 순위가 높은 사용 사례는 실종 아동과 납치된 어린이들을 인지하는 것입니다. 비디오에서 AI에 기반한 인식은 미국에서 사용되는 AMBER 경보 시스템과 같은 기존 시스템을 증가시킬 수 있습니다.
비디오 애플리케이션의 한 가지 목표는 공항에서 승객들이 기다리는 줄을 단축하는 것 입니다. 승객들이 터미널을 통해 이동할 때 여권 사진에 대해 식별하고 매칭시킬 수 있다면, 본질적으로 사전 승인을 받을 수 있습니다. 우려를 제기하는 소수의 승객들은 출입문에 도달하기 전에 공무원들로부터 연락을 받을 수 있습니다. 이러한 사전 점검은 입국장에서 승객들이 줄을 서야 하는 필요성을 피할 수 있으며, 예를 들어 입국할 때 세관에서 긴 줄이 없어질 수 있습니다.
문제 해결 방안
어떻게 하면 비디오 처리에 있어 안면 인식이 더 잘 되고, 더 빠른 속도로 더 많은 비교를 하기 위해 확장할 수 있을까?
Epigen은 안면 인식을 위한 확장 가능한 구조를 개발하고 있습니다. 요구사항이 엄격합니다. 예를 들어, 테리는 "응답시간, 왕복 10ms 미만이 필요하다"고 말했다.
SingleStore는 이러한 종류의 도전에 매우 적합합니다. 내장 파이프라인 기능은 빠른 데이터 수집 과 처리를 동시에 하게 해줍니다. Terry는 “SingleStore는 가볍고 베어메탈에서 실행되기 때문에 좋아한다." 라고 말합니다.
Epigen은 비디오에서 얼굴 이미지를 벡터화하고 이러한 이미지를 법적으로 감시 대상인 목록과 같은 데이터베이스와 비교하기 위해 CPU 대신 GPU를 사용합니다. GPU는 복잡한 수학 알고리즘의 빠른 실행을 요구하는 많은 문제를 해결하기 위한 훌륭한 도구입니다. 이 알고리즘을 포함하여 머신 러닝과 AI에 많은 어려운 문제가 포함되어 있습니다. (최근 Forbes에서 설명된 것처럼 AI에 대해 GPU는 새로운 CPU입니다.)
그래픽 연산을 위한 엔진 역할을 하고 머신러닝과 AI의 수학적 연산에도 사용될 GPU는 CPU와 함께 사용하도록 설계되었습니다. CPU와 GPU를 함께 페어링하는 많은 솔루션들이 직면한 문제는 GPU로 데이터를 충분히 빠르게 가져오는 것입니다. 따라서 SingleStore는 데이터를 부분적으로 처리한 다음, 추가 처리를 위해 GPU로 신속하게 전송하는 데 사용됩니다.
에피젠의 안면 인식 플랫폼은 다음과 같이 SingleStore기능을 최대한 활용하고 있습니다.
수집 – Amazon S3와 향후 다른 데이터 소스에서 사진 데이터를 빠르게 가져옵니다.
CPU 기반 처리 – 보다 복잡한 처리가 필요할 때 파이프라인 내에서 ETL 작업의 "변환(Transform)" 부분을 처리하는 SingleStore의 스토어드 프로시저 기능 빠른 변환 처리에 매우 중요합니다.
GPU 기반 처리 – 전체 시스템의 성능에 중요한 처리된 데이터를 GPU로 빠르게 전송합니다.
데이터는 처음에 클라우드의 아마존 S3 데이터베이스에 읽힙니다. 그런 다음 Epigen은 SingleStore 파이프라인을 사용하여 S3에서 최고 속도로 데이터를 추출한 다음, 빠르게 변환하여 SingleStore로 로드합니다. 거기서부터 데이터는 GPU 어레이로 이동합니다.
SingleStore의 장점은 프로세스의 모든 시점에서 확장 가능하다는 것입니다. 한 장의 사진이 수천에서 수백만 장의 사진과 비교될 때 수집은 매우 중요합니다. 수집 후에 SingleStore의 초기 처리와 총 처리량 그리고 특히 데이터를 GPU로 원활하게 전달하는 기능도 매우 중요합니다. Epigen은 기존에는 GPU 용량의 약 10%만을 사용되는 경우가 많았는데 지금은 SingleStore 덕분에 사용율이 이미 40-50%대에 진입을 했다고 합니다. 이와 같이 Epigen은 GPU를 최대한 활용하기 위해 노력하고 있습니다.
Terry는 이런 종류의 구현에서 대략 4-5배 정도의 성능 향상을 기대하게 되었습니다. 그의 말을 통해 기존 시스템의 문제들을 들어보면, S3에 대해 파이썬 스크립트를 실행하고 있었는데, 이제는 이 스크립트를 쓰거나 실행할 필요가 없으며 성능이 최적화되었다고 합니다. 하지만 과거에는 데이터를 MongoDB로 읽고 있었지만 제대로 작동하지 않았다고 합니다. 또한 MongoDB와 같은 NoSQL 솔루션들은 시스템 롤백(Rollback) 기능이 없어 시각적 인식에 많은 어려움을 겪었다고 합니다. 반면, SingleStore는 트랜잭션 기반이기 때문에 데이터 손실 없이 트랜잭션을 롤백 처리 할 수 있게 되었다고 합니다.
테리는 처리량과 생산성을 동시에 원하지만 그것에 수반되는 비용에 대해 우려를 했습니다. 그는 SingleStore로 시스템 용량의 100% 용량을 사용하여 더 적은 수의 머신을 사용할 수 있다고 합니다. 직접 비용은 기존 스텍에 들어가던 연간 약 2백만 달러를 약 15만 달러로 줄였습니다. SingleStore를 사용하면서 부가적으로 해당 인프라 운영인력을 줄일 수 있었습니다.
팀워크로서의 기술
Epigen은 종종 SingleStore와 그래피스트리(Graphistry)라는 시각화 도구를 짝지어서 AI 애플리케이션을 개발하고 자주 사용합니다. 그래피스트리는 다른 종류의 데이터들 사이의 관계를 노출시키는 것에 도움을 줍니다. 다른 많은 분석과 시각화 도구와 마찬가지로, 그래피스트리 API에는 SQL 데이터 작업을 위한 기능이 내장되어 있어 SingleStore에 적합합니다.
GPU의 분석력을 보여주는 그래피스트리
이런 종류의 기술을 개발하는 것은 공동의 모험이라고 할 수 있습니다. Epigen이 시스템을 제공할 때, 클라이언트는 Epigen이 시스템을 개발하기 위해 처음에 했던 것처럼 그들의 사용 사례에 맞게 시스템을 커스터마이징하고 최적화하는 많은 작업을 수행할 수 있습니다. 테리는 레퍼런스 아키텍처를 설정하고, 고객은 테리가 제공하는 도구를 사용하여 시스템을 더욱 개선할 수 있게 합니다. 여기서 SingleStore는 그 도구 세트의 중요한 부분을 차지 하고 있습니다.
SingleStore를 통한 Epigen의 다음 단계
안면 인식은 SingleStore가 고객들에게 첨단 기술을 제공하는 것을 돕고 있는 분야 중 하나일 뿐입니다. 테리는 일부 표출된 문제 해결을 위해 향후 작업으로는 부정행위 탐지, 약물 남용 방지, 지리 공간 애플리케이션 개선을 위해 데이터 웨어하우스(DW)를 교체하고, 오라클 데이터베이스 통합과 많은 다양한 데이터베이스 인스턴스를 단일 데이터 플랫폼인 SingleStore로 통합하려고 합니다. 또한 안면 인식에서 배운 대부분의 것들을 오디오와 음성 인식에도 적용하려고 합니다.
초기 안면 인식 어플리케이션으로 Epigen은 인지 컴퓨팅을 위한 레퍼런스 아키텍처를 만들고 있습니다. 이 디자인은 오늘날의 머신러닝과 AI 도구를 넘어 의사결정을 내리고 인간에 의한 의사결정을 지원하는 것입니다. 예를 들어, 좁은 목표를 가진 AI 도구는 비행기에 탑승하는 누군가가 그들의 여권 사진에 나타난 것과 동일한 사람이 아니라는 것을 보여줄 수 있을 것입니다. 그런 다음, 인지 컴퓨팅을 사용하여 실시간 사진을 법 집행 데이터베이스와 대조하고, 가능한 일치 항목이 식별되고 그 일치 항목이 확률로 할당이 됩니다. 그런 다음 그래피스트리와 같은 BI 툴을 사용하여 보안 담당자가 조치를 취할 수 있도록 정보의 전체 사진을 보여줍니다.
Epigen은 데이터베이스로 SingleStore, 벡터 처리를 위한 GPU, 시각화를 위한 그래피스트리, 머신러닝과 AI 도구 등 최신 기술을 사용하여 기업, 군, 정부가 직면한 가장 어려운 문제들을 해결하고 있습니다. 이것의 성공에 대한 전망은 밝습니다.
November 27, 2018
Epigen Powers Facial Recognition in the Cloud with SingleStore – Case Study
Epigen is using SingleStore as the central building block in its facial recognition system for use by business and government. Taking in data from Amazon S3, and many other sources, SingleStore powers an innovative Epigen solution that uses machine learnin
www.singlestore.com
※ www.a-platform.biz | info@a-platform.biz
'SingleStoreDB > 사례연구' 카테고리의 다른 글
| [사례 연구, Areeba] 금융에서 이상거래 탐지, 자금세탁 방지 등에 SingleStore 사용 (0) | 2019.08.14 |
|---|---|
| [사례 연구, Wag!] 애완견 산책 서비스의 실시간 및 급격한 동접자 수용 요구를 위한 SingleStore (0) | 2019.08.14 |
| [사례 연구, Insite360] SingleStore 내장 파이프라인을 사용하여 클라우드에서 IoT 서비스 제공 (1) | 2019.08.13 |
| [사례 연구, Kellogg] ETL 시간 단축(24 시간-> 수십분), BI 속도 향상(20 배) (0) | 2019.08.08 |
| [사례 연구] AWS RDS와 Druid.io를 SingleStore로 전환하여 비용 절감(약 6만 달러/월) (0) | 2019.08.08 |
