KAIST, 초대규모 그래프 프로세싱 시뮬레이션 기술 개발

알고리즘 계산. 게티이미지 제공

<이미지를 클릭하시면 크게 보실 수 있습니다>

[파이낸셜뉴스] 국내 연구진이 PC 한대로 1조개 규모의 그래프 알고리즘을 계산할 수 있는 기술을 개발했다. 이 기술은 그래프 타입의 데이터를 실제 저장하지 않고도 알고리즘을 계산해 기존대비 1만배의 효율을 가졌다고 연구진이 설명했다.

한국과학기술원(KAIST)은 전산학부 김민수 교수팀이 '조 단위 그래프 처리 시뮬레이션(T-GPS)' 기술을 세계 최초로 개발했다고 23일 밝혔다.

연구진은 T-GPS 기술을 기존 방법과 성능을 비교실험했다. 그 결과, 기존 방법이 11대의 컴퓨터로 구성된 클러스터에서 10억개 간선 규모의 그래프를 계산할 수 있었다. 반면, T-GPS 기술은 1대의 컴퓨터에서 1조개 간선 규모의 그래프를 계산했다. 연구진은 컴퓨터 자원 대비 1만배 더 큰 규모의 데이터를 처리를 할 수 있음을 확인했다. 또한, 알고리즘 계산 시간도 최대 43배 더 빠름을 확인했다.

김민수 교수는 "오늘날 거의 모든 IT 분야에서 그래프 데이터를 활용하고 있는바, 연구팀이 개발한 새로운 기술은 그래프 알고리즘의 개발 규모와 효율을 획기적으로 높일 수 있어 산업적 측면에서 파급 효과가 매우 클 것으로 기대한다"고 말했다.

이 T-GPS 기술은 그래프 데이터를 실제로 디스크에 저장하지 않고도 마치 그래프 데이터가 저장돼 있는 것처럼 알고리즘을 계산할 수 있다. 연구진은 계산 결과도 실제 저장된 그래프에 대한 알고리즘 계산과 완전히 동일하다고 설명했다.

그래프 알고리즘은 그래프 처리 엔진 상에서 개발되고 실행된다. 이는 산업적으로 널리 사용되는 SQL 질의를 데이터베이스 관리 시스템(DBMS) 엔진 상에서 개발하고 실행하는 것과 유사한 방식이다.

지금까지는 그래프 알고리즘을 개발하기 위해 먼저 합성 그래프를 생성 및 저장한 후, 이를 다시 그래프 처리 엔진에서 메모리로 적재해 알고리즘을 계산하는 2단계 방법을 사용했다. 그래프 데이터는 그 복잡성으로 인해 전체를 메모리로 적재하는 것이 요구되며, 그래프의 규모가 커지면 대규모 컴퓨터 클러스터 장비가 있어야만 알고리즘을 개발하고 실행할 수 있다는 커다란 단점이 있었다.

한편, 이번 연구에는 김 교수의 제자이자 캐나다 워털루 대학에 박사후 연구원으로 재직 중인 박힘찬 박사가 제1 저자로, 김 교수가 교신저자로 참여했으며, 지난 22일 그리스 차니아에서 온라인으로 열린 데이터베이스 분야 최고 국제학술대회 중 하나인 IEEE ICDE에서 발표됐다.

#클러스터 #한국과학기술원 #데이터 #KAIST #알고리즘 #시뮬레이션 #PC #그래프
monarch@fnnews.com 김만기 기자

※ 저작권자 ⓒ 파이낸셜뉴스. 무단 전재-재배포 금지