디지스트 김민수 교수 연구팀 개발
GPU 2개ㆍ1.2테라 SSD 2개ㆍOS는 리눅스…
수백억 원짜리 슈퍼컴퓨터보다 3배 빨리 처리
수십 배 빠른 차세대 시스템도 개발 중
수백억 원짜리 슈퍼컴퓨터도 하지 못하는 빅데이터 분석을 600만 원 가량 들여 조립한 리눅스 기반 컴퓨터로 처리할 수 있는 기술이 대구경북과학기술원(DGIST, 디지스트) 연구팀에 의해 개발됐다. 사이버보안이나 인공지능 기술 개발에 획기적인 도움을 줄 것으로 기대된다.
디지스트 김민수(41ㆍ사진) 정보통신융합공학전공 교수팀은 슈퍼컴퓨터로도 처리하기 힘든 빅데이터를 컴퓨터 한 대로 처리할 수 있는 ‘G스트림 2.0’기술을 개발하고 성능이 훨씬 뛰어난 3.0버전을 개발 중이라고 7일 밝혔다. 이번 연구성과는 지난달 28일 미국 샌프란시스코에서 열린 데이터베이스 분야 세계적 학술대회인 2016 ACM 시그모드에서 발표됐다.
G스트림 2.0 기술은 주로 화면출력용 프로세스로 쓰이던 고성능 GPU 2개와 최근 노트북은 물론 데스크탑에서도 하드디스크 드라이버 대신 많이 쓰이는 데이터저장장치인 PCI-e SSD 1.2테라 용량 2개, 리눅스 운영체제의 컴퓨터로 구현했다. 이 같은 시스템 구성에 필요한 비용은 약 600만 원 가량이 들었다. 하지만 그 성능은 기존시스템과 비교할 수 없을 정도로 빨라 초당 최대 20억 개의 처리속도로 2,560억 개의 간선을 처리하는 데 성공했다. 그래프형태의 데이터 중에서 정점(node)과 그 정점을 연결한 것을 간선(edge)라고 한다.
인간의 뇌 신경망은 신경세포인 뉴런과 뉴런이 연결된 시냅스로 구성된 100조 개의 간선으로 구성돼 있다. 김 교수팀이 개발한 시스템은 인간 뇌 400분의 1 크기의 대용량 데이터를 처리할 수 있는 수준이다.
김 교수팀에 따르면 빅데이터 분석 성능이 가장 우수한 것으로 알려진 미국 카네기멜론대 연구팀도 슈퍼컴퓨터를 이용해서도 동시에 처리할 수 있는 데이터 용량이 320억 개이고, 시간도 1,400초가 걸렸다. 반면 G스트림 2.0은 같은 크기의 데이터를 처리하는데 500초밖에 걸리지 않았고, 2,560억 개까지 처리하는 데 성공했다.
김민수 교수는 “SSD에 저장한 데이터를 GPU로 스트리밍하면서 데이터를 처리하는 새로운 접근법으로 기존의 통신비와 메모리 사용량 문제를 해결했다”며 “카네기멜론대 처리법이 320억 개의 간선이 한계인 반면 우리는 SSD용량만 크다면 2,560억 개 그 이상도 처리할 수 있다”고 설명했다.
이 같은 기술은 뇌과학과 인공지능, 사물인터넷(IoT), 소셜네트워크 등 다양한 분야에 응용할 수 있을 것으로 보인다.
김 교수는 “원래 화면출력용으로 주로 쓰던 GPU가 CPU보다 계산성능이 훨씬 뛰어나 많은 계산이 필요한 시스템에 많이 쓰이는 추세이지만 시스템 구축이 더 어려운 측면도 있다”며 “사이버 보안이나 인공지능 개발에 응용하면 지금보다 훨씬 뛰어난 성능의 시스템을 훨씬 저렴하게 구축할 수 있을 것”이라고 기대했다. 또 “핵심엔진부분 기술은 완성됐고, 사이버보안 등 응용기능을 추가하는 데 시간이 걸리겠지만 1년 정도면 실용화가 가능할 것”이라고 자신했다.
정광진기자 kjcheong@hankoolilbo.com
기사 URL이 복사되었습니다.
댓글0