'빅데이터'가 고속도로를 만났을 때…

KISTI, 대용량 과학데이터 전송하는 'BDE' 개발

▲KISTI 연구원이 빅데이터익스프레스 미들웨어가 탑재된 전송 서버를 점검하고 있다.[사진제공=KISTI]

[아시아경제 정종오 기자] 대용량 데이터가 생성되면서 얼마나 빠르게 관련 데이터를 전송하느냐가 중요한 시대가 됐다. 데이터를 전송할 수 있는 '고속도로'가 필요하다.

한국과학기술정보연구원(원장 직무대행 문영호, KISTI)은 15일 대용량 과학데이터를 전송하는 미들웨어 '빅데이터 익스프레스(Big Data Express, BDE)'를 미국 페르미국립가속기연구소(Fermilab), 오크리지국립연구소(Oak Ridge National Laboratory)와 공동 개발했다고 발표했다.

BDE는 대용량 과학데이터를 신속하고 효율적으로 전송하는 기술이다. 과학적 발견과 실험에서 생산되는 데이터의 규모가 급속히 증가함에 따라 데이터의 생산, 확보, 저장, 전송 등 데이터 처리 기능이 매우 중요해지고 있다.

가속기와 관측 장비 등 대형 연구 장비에서 생산되는 데이터의 규모가 페타급이다. 1페타바이트(PB)는 1기가바이트(GB) 영화 100만 편, 1시간 짜리 영화를 114년 동안 봐야하는 용량에 해당된다. 하나의 예로 유럽핵입자물리연구소(CERN)의 대형 강입자 충돌기(LHC) 실험의 경우 연간 50PB 데이터가 생산된다.

BDE는 대용량 과학데이터 전송의 효율성을 극대화 하는 기술이다. 기존 데이터 전송방법들이 가진 문제점을 극복하기 위한 목적으로 개발됐다. 기존 데이터 전송방법에는 데이터 전송구간에 존재하는 다양한 장비로 전체적 데이터 전송의 비효율성 문제가 발생했다.

BEE는 KISTI 자체 테스트에서 과학 데이터 전송에 자주 사용되는 GridFTP(그리드 컴퓨팅 환경에서 데이터 전송을 빠르게 하기 위한 FTP 기술)보다 3분의1 높은 성능을 보였다. LOSF(다수의 파일을 전송할 경우 빠른 데이터 전송속도에 비해 상대적으로 느린 메모리 I/O 속도 차이로 인해 전체 데이터 전송 속도가 느려지는 문제)테스트의 경우 GridFTP 보다 약 100배 정도 빠른 전송 속도를 보였다.

노서영 KISTI 대용량데이터허브실장은 "거대과학에서 요구되는 대형실험장비와 관측 장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다"며 "이를 통해 국내 데이터집약형 연구의 가속화가 기대된다"고 설명했다.

정종오 기자 ikokid@asiae.co.kr