안녕하세요 에이플랫폼 입니다.
이번 글에서는 RHEL 9.2 버전의 OS 커널에서 발견된 메모리 할당 관련 버그와
이로 인해 발생할 수 있는 문제를 소개해 드리겠습니다.
📌개요
Red Hat Linux 9.2 버전에서 SingleStore를 사용하던 중 시스템의 가용 메모리가 충분함에도 불구하고 종종 다음과 같이 메모리를 할당할 수 없다는 에러가 발생하는 사례가 있었습니다.
ERROR 1712 (HY000): Leaf Error (127.0.0.1:3307):
The operating system failed to allocate memory (MemSQL memory use 8927.00 Mb)해당 에러는 특정한 작업에서만 발생하는 것이 아니라 Select, Load Data 명령과 같은 데이터 처리 명령어를 수행하거나 Background Merger 스레드가 세그먼트 병합 작업을 수행할 때와 같이 SingleStore 엔진 내부에서 메모리 할당과 관련된 작업이 필요한 다양한 경우에 발생합니다.
위 에러는 지속적, 반복적으로 발생하므로 일반적인 DB 업무를 위한 DDL 이 실패하거나 병합되지 않는 수많은 칼럼 세그먼트들로 인해 성능상의 문제가 발생하기도 합니다.
또한 Rocky Linux / Oracle Linux 등 RHEL 계열의 Linux에서 모두 발생하며 SingleStore를 운영하지 않아도 발생할 수 있습니다.
💡원인
위 에러는 Red Hat Linux 9.2의 특정 kernel 버전에서 메모리 할당 및 변경 등과 같은 작업에 Bug 이 있기 때문에 발생합니다. 다음 URL에서 해당 내용을 확인할 수 있습니다.
에이플랫폼에서 자체 테스트한 결과로는 다음 kernel 버전에서 에러가 발생합니다.
(kernel-5.14.0-284.11.1.el9_2.x86_64 ~ kernel-5.14.0-284.41.1.el9_2.x86_64)
RHEL 9.1, 9.3 및 9.2의 kernel-5.14.0-284.43.1.el9_2.x86_64 이상 버전에서는 에러 없이 정상적으로 동작합니다.
✅조치
만일 에러가 발생할 수 있는 Red Hat 9.2의 kernel 버전을 사용 중이라면 O/S kernel 업그레이드를 고려하시기 바랍니다. RHEL 9.2를 사용하고 있다면 다음 예제와 같이 kernel의 changelog를 확인하여 다음 두 가지 fix 가 포함되어 있는지 체크할 수 있습니다.
$ rpm -qa | grep kernel
$ rpm -q --changelog kernel-5.14.0-284.43.1.el9_2.x86_64 | grep "RHEL-9198"
>>
mm, mremap: fix mremap() expanding for vma's with vm_ops->close() (Donald Dutile) [RHEL-15321 RHEL-9198]- mm, mremap: fix mremap() expanding for vma's with vm_ops->close() (Donald Dutile) [RHEL-15321 RHEL-9198]
- mm, mremap: fix mremap() expanding vma with addr inside vma (Nico Pache) [RHEL-15321 2168372]
위와 같은 메세지를 확이하실 수 있습니다.
이미 설치되어 사용 중인 SingleStore는 O/S kernel 업그레이드 이후 에러 없이 정상적으로 사용할 수 있습니다.
다음 포스팅에도 흥미로운 사례들을 알아보겠습니다.
에이플랫폼의 다음 포스팅도 기대해 주세요
