빅데이터
Big Data
빅데이터(Big Data)란 복잡하고 다양한 대규모 데이터세트 자체는 물론 이 데이터세트로부터 정보를 추출하고 결과를 분석하여 더 큰 가치를 창출하는 기술을 뜻한다. 수치 데이터 등 기존의 정형화된 정보뿐 아니라 텍스트·이미지·오디오·로그기록 등 여러 형태의 비정형 정보가 데이터로 활용된다.
최근 모바일 기기와 SNS 이용 보편화, 사물인터넷 확산 등으로 데이터의 양이 기하급수적으로 늘어나고 있다. 하지만 저장매체의 가격 하락 등으로 데이터 관리비용이 감소하고, 클라우드 컴퓨팅 등으로 데이터 처리·분석 기술도 발전하면서 빅데이터 활용 여건은 계속 개선되어가고 있다.
빅데이터 관련 기술은 데이터를 수집·저장하는 데이터 ‘처리기술’과 데이터를 분석·시각화하는 데이터 ‘분석기술’로 구성된다. 데이터 처리기술의 발달은 저가의 서버와 하드디스크를 여러 대 연결하여 대용량 데이터를 분산 처리함으로써 기존의 고비용 데이터 분석 솔루션을 대체하였다.
데이터 분석기술의 발달은 기존 데이터 분석에서는 불가능했던 비선형적 상관관계 규명, 감성분석 등 비정형화된 분석도 가능하게 만들었다. 여기서 감성분석은 텍스트 채굴(text mining) 기술의 하나로 텍스트(예: 상품 품평)에 나타난 사람들의 태도·의견·성향 등 주관적인 속성을 지닌 데이터 추출·분석기법이다.
이처럼 빅데이터는 대량(high-volume), 초고속(high-velocity), 고다양성(high-variety), 고가변성(high-variability)의 특성을 지니며 고정확성(high-veracity)을 확보해야 하는 정보 자산이다.
쉽게 이해하기
빅데이터는 너무 많고 생김새도 제각각이라 예전 방식으로는 담거나 들여다보기 어려운 데이터, 그리고 그 속에서 쓸모 있는 정보를 캐내는 기술을 함께 부르는 말입니다.
달라진 것은 양만이 아닙니다. 예전 분석은 매출액과 날짜처럼 표의 칸에 딱 맞는 숫자를 다뤘다면, 이제는 고객이 남긴 후기 글, 사진, 상담 녹음, 앱을 언제 어떻게 눌렀는지 남는 접속 기록까지 재료가 됩니다. 스마트폰과 각종 센서가 이런 흔적을 쉴 새 없이 만들어 내는 한편, 저장 장치가 싸지고 컴퓨터 자원을 필요한 만큼 빌려 쓸 수 있게 되면서 이를 버리지 않고 모아 둘 수 있게 되었습니다.
이렇게 쌓인 데이터를 다루는 요령은 나눠서 처리하는 것입니다. 아주 비싼 대형 컴퓨터 한 대에 맡기는 대신 값싼 서버 수십, 수백 대에 데이터를 쪼개 저장하고 동시에 계산하게 합니다. 한 대가 고장 나도 나머지가 일을 이어 가고, 데이터가 늘면 서버를 더 붙이면 됩니다. 분석 쪽에서는 글을 읽고 그 사람이 만족했는지 불만인지를 가려내는 감성분석처럼, 숫자가 아닌 재료에서 의미를 뽑는 방법이 발전했습니다.
빅데이터를 설명할 때 영어 V로 시작하는 특성을 늘어놓는데, 마지막 정확성만 '갖춰야 할 조건'으로 따로 붙는 데는 이유가 있습니다. 양이 많고 빠르고 다양해도, 틀리거나 한쪽으로 치우친 데이터라면 잘못된 결론을 더 빨리, 더 그럴듯하게 낼 뿐이기 때문입니다. 그래서 데이터가 어디서 어떻게 모였는지 확인하는 일이 분석만큼 중요합니다.
예를 들면
한 쇼핑몰이 상품 후기 10만 건을 감성분석했더니 긍정 7만 건, 부정 2만 건, 중립 1만 건으로 나왔습니다. 긍정 비율은 7 ÷ 10 = 70%입니다. 부정 후기 2만 건 가운데 '배송'이라는 말이 나온 글이 1만 2천 건이라면 부정 후기의 60%(1.2 ÷ 2)가 배송을 언급한 셈이어서, 쇼핑몰은 상품보다 택배 업체를 먼저 살펴보는 쪽이 낫다고 판단할 수 있습니다.