[취재파일] 4차 산업혁명 빅데이터 혁신기술 '그래프 데이터베이스'를 아시나요?

2016년 4월 전 세계를 떠들썩하게 했던 국제탐사보도언론인협회(ICIJ)의 '파나마 페이퍼' 기억하시나요?

파나마의 최대 로펌인 모색폰세카의 내부자료 1천 150만 건을 분석해 조세 회피를 위해 페이퍼 컴퍼니를 설립한 것으로 의심되는 유명인들을 폭로한 프로젝트였습니다. 당시 시진핑 중국 국가주석 등 전·현직 정상과 리오넬 메시 등 유명인들이 대거 리스트에 포함돼 파란을 일었습니다.

그런데 이 파나마 페이퍼스 프로젝트는 데이터베이스 기술 역사에서도 이정표를 세운 사건입니다. 당시 ICIJ에서 입수한 문건은 무려 2.6테라바이트(TB)에 육박하는 1천 150만 건의 방대한 양이었습니다. 파편화되어 있는 데이터에서 사람과 사람, 사람과 기관들 간의 관계 분석이 필요했습니다. 이 데이터베이스를 기존 방식으로 분석할 경우 수년에서 수십 년이 소요된다는 것이 취재인의 판단이었습니다.

그런데 걱정에 빠진 취재진을 구한 것이 바로 그래프 데이터베이스였습니다. 그래프 데이터베이스는 전세계 정관계 인사들과 금융기관 간의 흐름 등을 시각화하여 파악할 수 있게 해 분석 시간을 획기적으로 줄였습니다.

당시 데이터를 그래프로 구현하는 데는 네오포제이(Neo4j)와 링큐리오(Linkurio.us)라는 솔루션이 사용되었습니다. 기업과 수혜자, 주주, 기타 관계자의 상관관계를 빠른 시간에 확인할 수 있었습니다. 취재진은 웹사이트를 통해 이 그래프 데이터베이스를 일반인에게도 공개했습니다.

그래프 데이터베이스는 데이터 자체를 점과 선의 그래프 형태로 저장하고, 선을 따라 특정 패턴과 이상 현상을 빠르게 추적할 수 있으며 이를 시각화함으로써 분석을 용이하게 하는 솔루션입니다.

쉽게 말하면 과거의 데이터베이스가 도스(DOS)라면, 그래프 데이터베이스는 윈도우즈(WINDOWS)인 셈입니다. 컴퓨터 작업 환경을 텍스트 중심에서 그래픽 중심으로 변모시킨 윈도우즈가 PC 역사를 바꿨듯, 그래프 데이터베이스도 빅데이터 혁신을 이끌 것이란 전망입니다. 특히 복잡하고 방대한 데이터를 점과 선의 그래프 형태로 처리하여 데이터 네트워크를 구축하기 때문에 탁월한 속도로 진행할 수 있다는 장점이 있습니다.
그래프 데이터베이스를 사용하는 기업은 데이터의 상관관계를 보다 직관적으로 빠르게 분석할 수 있습니다.

예를 들어, 스마트 팩토리 도입 기업의 경우 과거에는 전체 생산 기기의 현황을 연식과 수리 횟수 등 숫자 형태의 데이터만으로 관리를 해오고 있었지만 그래프 데이터베이스 솔루션을 활용하면 전체 공장의 구역별, 기기별, 시스템별 시각화 데이터를 통해 위험요소가 높은 붉은 색 구역, 안전한 푸른색 구역 등으로 쉽게 파악하여 관리할 수 있습니다.
의학 분야에서도 수치상으로만 존재하던 바이러스의 존재를 모든 신체 부위의 시각화 데이터를 통해 바이러스 노출 여부, 필요 약물의 성분 등을 의료진과 환자가 실시간으로 파악할 수 있도록 구현할 수 있습니다.

특히 그래프 데이터베이스는 소셜네트워크상의 다양한 관계를 점(사람, 상품 등)과 선(친구 관계, 구매하다 등) 형태의 그래프로 저장하고 또 시각화함으로써 특정 소비자의 구매 패턴을 소셜 관계가 있는 소비자 그룹과 연계하여 쉽게 저장하고 또 새로운 인사이트를 발견할 수 있게 하는 장점이 있습니다. 즉 솔루션 상에서 시각화된 특정 인물을 선택할 경우 이 소비자의 지인들의 소비패턴까지 시각화하여 저장, 분석하는 것이 가능합니다.

그래프 데이터베이스는 국내에선 아직 걸음마 단계입니다. 네오포제이(Neo4J), 오리엔트디비(OrientDB), 아젠스그래프(AgensGraph) 등의 솔루션이 사용되고 있습니다.

최근 국내 한 사이버테러 대응 기관에서 해킹피해 대응을 위한 패턴 분석에 적용한 사례가 있습니다. 해커가 해킹을 할 때 특정한 패턴을 보일 경우 시스템이 미리 알아채고 관리자에게 경고 메시지를 보내는 시스템입니다. 이 시스템을 구현하는 데는 국내 자체 연구로 개발된 비트나인 사의 '아젠그래프(AgensGraph)'라는 솔루션이 쓰였습니다.

비트나인의 박준성 마케팅 팀장은 "그래프 데이터베이스를 통해 해킹 패턴을 그래프 형태로 저장하여 해당 패턴의 공격이 들어올 때 쉽게 감지할 수 있었으며, 이를 통해 변동 등 유사 패턴의 공격도 쉽게 감지할 수 있기 때문에 실시간 위협 감지가 가능해졌다"고 설명했습니다.

강철순 비트나인 대표는 "4차 산업혁명 시대의 데이터 처리를 위한 핵심기술로 주목받고 있는 그래프 데이터베이스는 단순히 데이터 정보를 질의응답 하는 것을 넘어 데이터 간의 연결과 패턴을 보여줌으로써 데이터의 복잡한 관계를 보다 쉽고 빠르게 파악할 수 있도록 도와준다"며 "해외에서는 추천시스템, 소셜 네트워크 데이터 분석, AI, 금융사기 방지 등 다양한 분야에 이미 폭넓게 사용되고 있다"고 말했습니다.

가트너의 전망보고서에 따르면 2018년 말에는 전 세계 포춘 500대 기업(Fortune500)의 75% 정도가 그래프 데이터베이스를 이미 도입하였거나 도입을 검토할 것으로 예측될 정도로 세계적인 주목을 받고 있습니다.