연구원 좋은글 - 빅 데이타 이야기

작년 IT 업계를 뜨겁게 달군 화두는 단연 '빅 데이타'였다. 빅 데이타는 한 마디로 데이타의 중요성에 대한 시각의 확대라고 볼 수 있다. 기업들은 고객, 매출, 제품 관련 정보들과 같이 기업의 비즈니스 수행에 없어서는 안 되는 중요한 데이타들을 이미 다양한 IT 시스템을 통해 관리해왔다. 그리고 이런 정보들을 몇 년 치를 모아서 과거의 비즈니스 추이를 분석해 왔다. 다만 이러한 분석은 한 가지 가정 하에서만 유효한데 그것은 바로 과거의 트렌드가 미래에도 계속될 것이라는 가정이 성립해야만 한다는 점이다.

하지만 최근 세상의 흐름이 바뀌었다. 이제 인터넷의 보편화와 모바일 기기의 발달, 소셜 네트웍의 확대로 소비자들은 손 쉽게 정보를 입수하게 되어 소위 좋다는 상품과 서비스에 대한 입소문이 급격하게 퍼지게 되었다. 이러한 상황은 소비자가 구매 관련 파워를 가지게 되었음을 의미한다. 많은 정보는 소비자의 기호의 급격한 변화를 야기하게 되었다. 고객들은 한 회사의 제품 혹은 서비스에 열광하다가도 이 보다 훨씬 좋은(좋다고 소문난) 다른 좋은 제품/서비스가 나오면 급격하게 선호도를 바꾸는, 즉 고객의 충성도가 점점 떨어지는 현상이 발생하게 되었다. 이러한 이유로 갑작스럽게 등장한 새로운 기술로 인해 기존 시장 구도가 쉽게 뒤바뀌는 현상이 발생했다. 불과 4,5년 전까지도 핸드폰 업계의 부동의 1위였던 노키아가 회사 존폐의 위기로까지 치닫은 것은 새롭게 등장한 스마트폰이라는 기술에 빠르게 대응하지 못했기 때문이다. 이제 탄탄대로는 나오기 힘들어졌다. 구불구불 굽이길과 심하면 90도의 꺾어진 길이 자주 나타나게 되었다. 과거 정보의 분석으로는 미래에 나타날 길의 변화를 알기 힘들게 되었다.

이러한 상황에 쇼크를 받은 기업들은 과거 비즈니스 데이타의 분석 뿐만 아니라 현재 발생하고 있는 데이타, 즉, 소셜 네트웍에서 고객들이 우리 제품에 대해 말하는 내용(칭찬, 불만, 개선 요구 등), 고객들의 취향의 변화, 주요 관심사의 트렌드, 우리 웹 사이트에서 검색한 내용과 구매한 제품들에 대한 정보들을 모아서 분석하기 시작했다. 이러한 데이타들은 이미 기존에 존재했던 것이지만 저장하기에는 너무 양이 많아 비용이 많이 들고 반면에 기업의 비즈니스에 심대한 영향을 미치지 않는다고 판단해서 관리하지 않고 무시했던 데이타들이다. 하지만 H/W 비용이 저렴해지고 대용량의 데이타를 비용효율적으로 관리할 수 있는 새로운 기술들(Hadoop,R)이 개발되었고, 실제로 대형 인터넷 기업(구글, 야후, 페이스북, 트위터 등)에서의 적용을 통해 해당 기술의 현실적인 적용가능성이 검증되면서 각광을 받기 시작하게 되었다. 또한, 실제로 구글같은 검색 엔진과 트위터나 페이스북 같은 Social Network Service 업체들이 자사가 관리하는 Big Data를 분석하여 검색 트렌드, 고객의 생각이나 원하는 바와 관련된 정보들을 찾아내어 이를 새로운 사업 확장 혹은 서비스 개선에 활용한 사례가 알려지면서 Big Data에 대한 관심이 폭발적으로 증가하게 된 것이다.

2010년 MIT Sloan Management Review가 전세계 100여개 국가의 3,000여명의 임원, 관리자 및 분석가를 대상으로 수행한 설문 결과에 따르면 Top-Performing 회사가 그렇지 않은 회사에 비해서 5배 이상의 분석 능력을 갖고 있음이 나타났다. 또한, 응답자의 절반 이상이 정보 분석 시스템의 개선을 가장 중요한 우선 과제로 선정하였다. 여기서 재미있는 사항은 역시 60% 정도의 응답자가 현재보다 더 많은 가치있는 데이터가 회사내외에 존재하고 있으며, 이에 대한 분석이 필요하다고 답변하였다는 점이다. 바로 이 부분이 Big Data의 분석 및 처리가 중요한 이유가 된다. 최근에 Big Data에 대한 관심이 커지고 있는 이유는 앞서 언급한 리뷰 결과와 같이 이제 정보 분석 능력이 기업의 경쟁력이 되고 있기 때문이며, Big Data의 관리 및 분석을 통한 정보 경쟁력의 향상이 그 해답을 제시해 줄 수 있기 때문이다.

빅 데이타를 분석하면 기존에 알지 못하던 트렌드 혹은 경향성을 파악할 수 있다. 최근에 출판된 <빅 데이타, 여기에 당신의 욕망이 보인다>(송길영 저, 샘앤파커스)는 소셜 분석을 통해 고객의 숨겨진 욕구를 찾아내어 제품화 하는 빅 데이타 활용 방안에 대해서 잘 설명하고 있다. 하지만 빅 데이타 분석은 단순히 고객 욕구 분석에 그치지 않는다. 예를 들면, 고객이 방문한 웹 페이지의 로그 정보의 경우 하나하나가 중요한 것은 아니지만 이를 대량으로 모아 분석하면 고객 유형별 관심 주제를 파악할 수 있게 된다. 비슷하게 상품의 이동에 따른 시간별 위치 정보를 대량으로 모아 분석하면 상품의 이동 경로의 효율성 파악할 수 있다. 이와 같은 유사한 사례를 많이 찾아볼 수 있는데 고객의 매장내 이동 동선을 모아 분석하여 주요 관심 제품, 결합 상품 파악, 제품/상점 추천 등에 활용할 수 있고, 포탈에서의 주요 검색 키워드를 통한 관심 트렌드 분석, 생산 설비의 상태/센서 정보(온도, 압력, 밀도 등) 분석을 통한 완성품 품질과의 연관성 분석, SNS를 통한 VOC 분석을 통해 고객의 만족도를 분석하는 것 등이 가능해진다.

이러한 분석이 가능한 이유는 빅 데이타가 바로 '모든' 혹은 '전수' 데이타이기 때문이다. 하나하나를 놓고 보면 별로 중요한 데이타가 아닐 수 있지만 엄청나게 많이 대량으로 모아 놓으면 단지 데이타의 시각적인 표현만으로도 어떤 경향성을 알 수 있게 된다. 마치 수 많은 별이 모여 밤하늘에 은하수를 만드는 것처럼 데이타 자체가 일정한 형태를 가지게 된다. 그 형태를 이해함으로써 기존에 몰랐던 숨겨진 통찰을 얻을 수 있게 된다. 수 많은 모래 속에서 반짝반짝 빛나는 숨겨진 사금을 얻을 수 있게 되는 것이다.

간단히 정리하면 Big Data 관리란 기술과 비용적인 이유로 기존에는 관리되지 않던 다양한 데이타까지도 수집/저장/관리하고, 여기에 숨겨져 있는 다양한 정보(예를 들면 고객 성향, 업무의 인과 관계 등)를 찾아내어 이를 현재 업무의 개선에 활용함으로써, 더 이상 휴리스틱(데이타 없이 과거의 경험과 습관만으로 의사결정을 수행하는 것)이 아닌 분석 정보 기반의 과학적인 의사결정을 수행하는 것을 말한다고 할 수 있겠다.

이 게시물을...

IP *.45.129.180

댓글 1 건

댓글 보기

2013.01.25 10:40:05 *.216.38.13

좋은 칼럼 잘 읽었습니다.

이 칼럼은 정말 일반인을 위한 IT 관련 잡지 등에 실려도 좋을 것 같다는 생각이 드네요!

사실, 빅 데이타 빅데이타, 라고 신문에나와도 잘 몰라서 그냥 넘어가곤 했는데.. 하나하나 알아가는 것 같습니다.

앞으로도 좋은 칼럼 기대합니다^^

덧글 입력박스
유동형 덧글모듈
로그인 후 사용하실 수 있습니다
비밀글 기능 댓글 운영정책

번호	제목	글쓴이	날짜	조회 수
236	토크 No.7 - 불타고 있는 워킹맘들 [2] [1]	재키제동	2013.02.03	4667
235	중국의 슬픔, 황하黃河 [4]	진철	2013.02.02	3308
234	사물 인터넷(Internet of Things) [3] [1]	희산	2013.02.01	4841
233	딱 슬프다 [4]	김미영	2013.01.31	2645
232	생에 대한 예의/아무르(Amour) [2]	효우	2013.01.30	3400
231	몽고메리 <빨간머리 앤>, 강미영 <숨통트기> [2]	뫼르소	2013.01.29	4317
230	토크 No.6 - 별을 딴 후 해야할 일 [5]	재키제동	2013.01.27	3469
229	신들의 분노는 끝나지않았는가 (2) [2]	진철	2013.01.26	2655
»	빅 데이타 이야기 [1]	희산	2013.01.25	3138
227	사랑이 고프다 [4]	김미영	2013.01.24	3003
226	러브오브 시베리아/너의 죄를 사하노라	효우	2013.01.23	6634
225	홈쇼핑 매혈기 -- 위화, <허삼관 매혈기> [6]	뫼르소	2013.01.22	2968
224	뼈가 많아야 진국이다	옹박	2013.01.21	3694
223	토크 No.5 - 누가 갑(甲)일까? [2]	재키제동	2013.01.20	4352
222	신들의 분노는 끝나지 않았는가 (1) [6]	진철	2013.01.19	2883
221	인터넷, 뇌의 확장 [1]	희산	2013.01.18	2616
220	애인 만들기 [8]	김미영	2013.01.17	3128
219	'몽상가들'	효우	2013.01.16	5684
218	권정생 <강아지똥> [2]	뫼르소	2013.01.15	6815
217	신성한 소가 더 맛있다 [4] [1]	옹박	2013.01.14	4320