기존보다 100배 큰 데이터 분석시스템 개발

국제연구팀 내놓아

[아시아경제 정종오 기자] 국제 공동연구팀이 기존 대비 최소 10배에서 최대 100배 큰 용량의 데이터를 효율적으로 분석할 수 있는 대용량 다차원 텐서 분석 시스템을 개발했다. 텐서는 3차원 이상의 고차원 배열을 말한다. 텐서는 의료 데이터나 네트워크 트래픽, 소셜 네트워크 등 다양한 고차원 데이터 분석에 쓰일 수 있는데 데이터가 커짐에 따라 확장성이 떨어지는 기존 알고리즘으로 분석하는데 한계가 있었다.

연구팀은 큰 용량의 중간데이터가 생겨나는 기존 알고리즘의 단점을 극복해 기존 대비 최대 100배 큰 텐서 데이터를 분석할 수 있는 분산머신 기반의 대용량 다차원 텐서 분석 시스템을 개발했다. 분산머신은 중앙집중식이 아니라, 데이터나 기능을 분산해서 처리하는 여러 대의 머신을 말한다.

강유 교수는 "기존 방법으로 처리할 수 없었던 다차원 빅데이터를 효율적으로 분석하는 시스템으로 소셜 네트워크, 지식 베이스, 네트워크 트래픽, 의료 데이터 등 다양한 분야의 빅데이터를 분석하는데 활용할 수 있을 것"이라고 말했다.

KAIST 강유 교수팀(제1저자: 전인아, 교신저자: 강유)과 미국 카네기멜론 대학 크리스토스 팔로웃소스(Christos Faloutsos) 교수팀이 공동으로 진행했다. 연구논문은 국제학회 중 하나인 IEEE International Conference on Data Engineering (ICDE) 2015에 구두(논문명: HaTen2 : Billion-scale Tensor Decompositions) 발표할 예정이다.

정종오 기자 ikokid@asiae.co.kr