단 PC 1대만으로 1조개의 대용량 그래프 데이터를 처리할 수 있는 기술이 국내서 세계 최초로 개발됐다. 대용량 그래프 데이터는 인공지능(AI), 블록체인 등에서 주로 사용되고 있어 향후 디지털 전환 기술이 획기적으로 향상될 전망이다.

한국과학기술원(KAIST)은 전산학부 김민수(사진) 교수 연구팀이 PC 1대로 약 1조개 규모의 그래프 데이터 알고리즘을 계산할 수 있는 초대규모 그래프 프로세싱 시뮬레이션(T-GPS) 기술을 개발했다고 23일 밝혔다.

웹, SNS, 인공지능, 블록체인 등의 광범위한 분야들에서 그래프 타입의 데이터에 대한 다양한 알고리즘들의 연구가 매우 중요하다. 하지만 그래프 데이터의 복잡성으로 그 크기가 커질 때 막대한 규모의 컴퓨터 클러스터(여러 대의 컴퓨터를 연결한 집합체)가 있어야만 알고리즘 계산이 가능하다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

연구팀이 개발한 T-GPS는 이 같은 문제를 근본적으로 해결할 수 있는 기술이다. 그래프 데이터를 실제로 디스크에 저장하지 않고도 마치 그래프 데이터가 저장돼 있는 것처럼 알고리즘을 계산할 수 있고, 계산 결과도 실제 저장된 그래프에 대한 알고리즘 계산과 완전히 동일하다는 장점이 있다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

이 기술은 그래프 데이터 상에서 그래프 알고리즘이 계산을 위해 접근하는 부분을 짧은 순간 동안 실시간으로 생성, 마치 그래프 데이터가 존재하는 것처럼 알고리즘을 계산한다. 이때 그래프 데이터를 아무렇게 실시간 생성하는 것이 아니라 합성 그래프 모델에 따라 생성하고 저장한 것과 동일하도록 실시간 생성하는 것이 핵심 기술이다.

또한 그래프 처리 엔진이 실시간으로 생성되는 그래프를 실제 그래프처럼 인식하고 알고리즘을 완전히 동일하게 계산하도록 엔진을 수정했다.

연구팀의 성능 비교시험 결과, 기존 방법이 11대의 컴퓨터로 구성된 클러스터에서 10억개 간선 규모의 그래프를 계산할 수 있었던 반면, T-GPS 기술은 1대의 컴퓨터에서 1조개 간선 규모의 그래프를 계산할 수 있다. 컴퓨터 자원 대비 1만배 더 큰 규모의 데이터를 처리를 할 수 있는 것이다. 또한 알고리즘 계산 시간도 최대 43배 빨라진 것으로 확인됐다.

김민수 교수는 “오늘날 거의 모든 IT 분야에서 그래프 데이터를 활용하고 있는 상황에서 이 기술은 그래프 알고리즘의 개발 규모와 효율을 획기적으로 높일 수 있어 산업적 측면에서 파급 효과가 매우 클 것으로 기대한다”고 말했다. 구본혁 기자

- Copyrights ⓒ 헤럴드경제 & heraldbiz.com, 무단 전재 및 재배포 금지 -