잘 사용하지 않지만 버릴 수는 없는 콜드 데이터의 관리는 기업에 적지 않은 부담이다. 가치가 낮은 많은 양의 데이터를 저장하기 때문에 저장 비용이 1순위 고려사항이지만, 그렇다고 아무렇게나 저장할 수는 없다. 데이터 무결성은 보장해야 한다. 액세스 빈도는 낮지만, 필요에 따라 데이터를 읽거나 복구해야 하므로 실효성 있는 속도도 제공해야 한다.

IBM은 데이터 라이프사이클을 기반으로 한 하이브리드 스토리지 솔루션을 해법으로 제시하는데, 특히 저전력 저탄소 장비인 테이프 스토리지에 방점을 두고 있다. IBM 스토리지 사업부 현명한 실장은 한국IDG가 주최한 테크 웨비나에서 이런 콜드 데이터를 효과적이고 안전하게 관리할 수 있는 스토리지 전략을 소개했다.

스토리지보다 빠르게 증가하는 비정형 데이터

콜드 데이터라는 문제가 불거진 가장 큰 이유는 비정형 데이터의 폭발적인 증가 때문이다. 통계에 따르면, 비정형 데이터는 연평균 16.5%씩 증가하는데, 이는 스토리지보다 21%, 정형 데이터보다 60%나 빠른 속도이다. 이 때문에 스토리지 시장에서도 블록 스토리지보다 파일 및 객체 기반 스토리지의 연평균 성장률이 더 높다. 제대로 관리하지 않는 데이터는 기업에 위험요소가 된다. 이런 데이터를 노리고 있는 랜섬웨어 공격의 건수는 물론, 건당 피해 금액까지 빠르게 증가하고 있다.

현명한 실장은 “데이터의 가용 수명이 중요한데, 시간이 지나면서 급격하게 줄어든다. 기업의 스토리지에 저장된 데이터 중 90%가 90일이 지나면 아무도 액세스하지 않는 콜드 데이터가 된다. 그러나 만일을 위해 자주 액세스하지 않는 데이터도 복사본을 보관하는 것이 중요하다”고 지적했다.

테이프 스토리지는 오래된 기술이지만, 이런 비정형 데이터 백업을 위한 필수 요소로 평가되고 있다. AWS나 구글 클라우드 같은 하이퍼스케일 데이터센터 역시 콜드 데이터 관리에 대한 고민이 큰데, 구글은 이를 위해 연간 20만 개의 테이프 카트리지를 구매하는 것으로 알려져 있다. 기업의 이런 콜드 데이터 저장 수요를 잘 알고 있는 것이 바로 AWS의 글래시어 서비스로, 데이터의 장기 보관을 위한 저렴한 스토리지 서비스이다. AWS가 글래시어 서비스에 테이프 스토리지를 사용한다고 밝히지는 않았지만, 기본 하드웨어는 역시 테이프 기반 스토리지일 것으로 추정된다.

콜드 데이터 관리를 위한 ILM 전략

IBM의 콜드 데이터 관리를 위한 ILM 전략은 데이터 라이프사이클에 따라 콜드 데이터를 자동으로 고집적 저전력 저탄소 스토리지에 저장해 운영 비용을 절감하는 것이 핵심이다.

액티브 데이터를 관리하는 IBM 스토리지 스케일(IBM Storage Scale)과 콜드 데이터를 관리하는 IBM 스토리지 아카이브(IBM Storage Archive)로 구성된 하이브리드 스토리지 솔루션으로, 플래시 스토리지와 디스크 스토리지 구성된 IBM 스토리지 스케일의 데이터를 정책 기반 데이터 배치를 통해 콜드 데이터를 자동으로 테이프 스토리지 기반의 IBM 스토리지 아카이브로 이전하며, 스토리지 아카이브의 콜드 데이터가 필요한 경우에는 투명하게 스토리지 스케일로 복원한다.

IBM의 콜드 데이터 관리를 위한 ILM 전략 ⓒ IBM

<이미지를 클릭하시면 크게 보실 수 있습니다>

여기서 핵심은 데이터의 중앙 집중화와 자동 계층화이다. 이를 위해 IBM은 S3, NFS/SMB, HDFS는 물론, AI 가속화를 위한 GPUDirect, 고성능 컨테이너를 위한 CSI 등의 프로토콜을 포괄적으로 지원하고 단일 글로벌 네임스페이스로 새로운 스토리지나 기존 스토리지 모두를 일관되게 관리할 수 있다. 특히 고비용 운영 스토리지의 데이터 중 가치가 떨어지는 데이터를 구분해 저비용 스토리지로 이관해 주는 자동 아카이빙 기술을 제공한다.

현명한 실장은 “기업은 이런 일련의 환경과 프로세스를 직접 수행할 필요가 없다. 모든 활동은 IBM 스토리지가 자동으로 수행한다”고 강조했다.

다양한 산업군에서 입증된 데이터 보호 및 비용 절감 효과

실제로 이런 자동 계층화를 기반으로 한 콜드 데이터 전략은 다양한 산업군에서 그 실효성을 증명하고 있다. 일례로, A사는 파일 개수가 많은 계약 이미지 파일의 백업을 위해 테이프 스토리지를 사용하는데, 평균 크기 100KB 파일 88억 개, 870TB의 데이터를 저장한다. 1차 스토리지는 150TB의 플래시 디스크를 사용하는 IBM ESS 솔루션이지만, 2차로 1PB의 NL SAS 솔루션을, 그리고 아카이브용으로 27PB의 테이프 스토리지를 사용한다. 매년 150TB 1억 건의 새로운 파일이 생성되지만, IBM 스펙트럼 아카이브(IBM Spectrum Archive)가 정책을 기반으로 사용되지 않는 파일을 자동으로 아카이빙한다.

파일 개수가 많은 계약 이미지 파일의 데이터 백업용으로 테이프 스토리지를 사용한 사례 ⓒ IBM

<이미지를 클릭하시면 크게 보실 수 있습니다>

자동차 부품회사인 B사는 법적 규제로 인해 자동차 부품 생산 로그 및 설계도를 15년간 보관해야 한다. 실제 생산라인에서 나온 로그를 계속 스토리지에 저장해야 하는 것이다. 현명한 실장은 “수많은 로그를 저장하기 위해서는 빠른 스토리지도 필요하지만, 15년을 저장할 수 있는 스토리지도 필요하다. 하지만 15년을 사용할 수 있는 스토리지는 드물다”고 설명했다. 기술 환경이 변화하면 시스템을 마이그레이션하기도 하고 데이터도 옮겨야 하는 상황이 발생하기 때문이다. B사 역시 스펙트럼 아카이브를 이용해 콜드 스토리지로 테이프 라이브러리를 구축했다. 테이프 라이브러리는 1TB당 12원 정도로 비용이 저렴할 뿐만 아니라 전력 사용량도 1/100을 넘지 않으며 상면 비용도 절감할 수 있다.

방송사인 C사는 CMS(Content Management System)에서 실제 영상 데이터를 편집하고 송출하는 것은 물론, 송출이 완료된 영상 자료를 테이프 스토리지로 자동으로 전송해 아카이빙하고 있다. 방송사는 용량이 큰 영상 자료를 10년 이상 보관하기 때문에 테이프 스토리지의 주요 고객 중 하나이다.

테이프 스토리지에 진심인 IBM

IBM 테이프 스토리지는 99.999999999%의 높은 데이터 내구성을 자랑한다. 무엇보다도 IBM은 테이프 스토리지 수익의 무려 8%를 연구개발에 투자하고 있다. 60년 이상 물리 테이프 라이브러리를 생산한 업체이며, LTO 드라이브를 생산하는 유일한 업체이기도 하다. 이런 강점으로 IBM 테이프 스토리지는 2013년부터 시장점유율 1위를 지키고 있다.

현명한 실장은 “대형 기업들이 테이프 제품군을 축소하고 있지만, IBM은 지속적인 기술 개발과 제품 출시로 시장 점유율을 높이고 있다. 2013년 20%대였던 테이프 드라이브 시장 점유율이 2023년 51%로 높아진 것이 이를 증명한다”고 설명했다. 실제로 KBS, SBS 등의 주요 방송사와 대통령기록관도 IBM의 테이프 스토리지 고객이다.

시장 점유율뿐만 아니라 기술 리더십도 강화되고 있다. IBM은 유일하게 LTO 드라이브를 생산하는 업체로서 확고한 LTO 기술 로드맵을 가지고 있다. 2021년 18TB 400MBps의 LTO-9를 완성했고, 2024년 36TB 500MBps의 LTO-10, 2027년 72TB 800Mbps의 LTO-11을 출시할 계획이다.

IBM은 소규모 기업을 위한 싱글 드라이브 제품군부터 최대 128대의 드라이브로 400PB의 용량을 제공하는 엔터프라이즈급 제품군까지 폭넓은 제품군을 갖추고 있다. 미드레인지 제품군인 TS4300은 대형 데이터센터용으로, 40슬롯 720TB 용량으로 시작해 640슬롯, 최대 48U, 11.52PB으로 확장할 수 있다. 엔터프라이즈급 제품인 TS4500은 LTO-9~6까지 지원하는 것은 물론, 동일 라이브러리 내에서 드라이브를 혼용할 수도 있다. 듀얼 로봇 액세서와 듀얼 그리퍼, 다양한 페일오버 기능으로 가용성을 높였으며, 보안 및 아카이빙 솔루션과의 연계를 지원한다. 특히 LTO 드라이브 기반의 자체 암호화 기능을 제공해 별도의 암호화 소프트웨어나 어플라이언스가 필요없다.

IBM 스토리지 아카이브 제품군 ⓒ IBM

<이미지를 클릭하시면 크게 보실 수 있습니다>

최신 제품인 다이아몬드백(Diamondback)은 전력 및 상면 비용 절감이 필요한 데이터센터 고객을 위한 솔루션이다. 최대 27.8PB의 비압축 용량을 지원하면서 19인치 표준 랙 한 대 공간만을 차지하며, 테이프 라이브러리에 일반적으로 필요한 서비스 공간이 필요없다. 또한, 최대 14대의 LTO-9 테이프 드라이브를 구동하는 전력이 500W에 불과하다.

다이아몬드백 하드웨어를 기반으로 한 IBM S3 딥 아카이브(Deep Archive)는 클라우드 데이터센터 백업용 솔루션이다. 표준 S3 글래시어 명령을 사용할 수 있으며, 온프레미스에서 직접 데이터를 제어할 수 있다. 네트워크로 백업을 수행하지만, 검색 우선순위에 대한 추가 비용이 들지 않는다. GB당 10년 저장 비용은 0.14원으로 가장 저렴한 AWS 글래시어 딥 아카이브의 1/10에 불과하다.

현명한 실장은 “IBM은 콜드 데이터 관리를 위해 테이프를 사용한 ILM 전략이 있는 유일한 업체이며, LTO드라이브를 생산하고 로드맵이 있는 유일한 업체이다. 10년 이상 데이터를 저장해야 하는 테이프 스토리지의 특성상 장기적인 기술 로드맵과 업체의 안정성면에서도 IBM이 최고의 선택이 될 것”이라고 강조했다.

IBM의 “콜드 데이터 관리를 위한 맞춤형 테이프 스토리지 전략” 테크 웨비나는 여기에서 다시 볼 수 있다.
editor@itworld.co.kr

박재곤 editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지