빅데이터만 있으면 뉴욕 양키스도 부럽지 않다?

최근 한 통신사는 자체 빅데이터를 기반으로 신용평가모형을 개발, 이것을 한 은행에 도입한다고 밝혔는데요. 단순한 금융권 거래실적뿐 아니라 자사 통신 가입자의 요금실적납부, 결제정보 등을 기반으로한 빅데이터 분석을 진행하여 금융기관의 신용 평가 등급 기준으로 사용한다고 합니다.

4차 산업혁명시대가 도래하면서 인공지능, 정보통신기술, 사물 인터넷등이 핵심으로 주목 받고 있는데요. 그 중 빠지지 않고 등장하는게 바로 빅데이터(Big Data) 입니다. 빅데이터는 도대체 무엇인지 살펴 보도록 하겠습니다.

빅데이터는 기존의 일반적인 '정형화된 데이터' 외에도 그동안 제대로 활용하지 못했던 '비정형화데이터'까지 모두 포함한 것으로 단순한 관리를 넘어 가치를 추출및 분석하여 미래 예측까지 이르는 포괄적인 기술을 의미 합니다.

기술의 발전으로 데이터 수집 능력도 커졌고 그것을 제대로 활용하기 위한 필수적인 방법이라고 볼 수도 있는데요. 빅데이터는 이미 2012년 세계 경제 포럼에서 '미래 10대 기술' 중에서 가장 첫 번째로 꼽히는 기술로 선정될만큼 그 중요성까지 인정 받았습니다.

일반적으로 가장 많이 정의되는 것이 시장조사기관인 '가트너'가 제시한 '3V' 인데요. 데이터 분석의 가파른 성장과 기회를 데이터의 양(Volume), 데이터의 입출력 속도(Velocity), 데이터 종류의 다양성(Variety)으로 정의하였습니다. 여기에 정확성(Veracity) 이나 가변성(Variability)등을 추가하여'4V' 로 정의하기도 합니다.

엄청난 데이터의 단순 수집보다 이것을 어떻게 분석할 것이냐가 중요해 지는데요. 대부분 기존의 통계학과 전산학을 활용하고 있습니다. 데이터 마이닝, 자연 언어 처리, 기계 학습, 자연 언어 처리, 패턴 인식, 텍스트 마이닝, 소셜네트워크 분석등 폭넓은 방법이 사용되고 있습니다. 통계분석에는 보통 R 이라는 프로그램을 많이 활용하였지만 빅데이터에는 보다 광범위한 데이터 분석이 필요하여 하둡(Hadoop)이라는 플랫폼을 사용합니다.

2010년, 미국의 탈세 금액은 당시 저소득층의 의료보장 총액을 초과할 정도로 심각했는데요. 미국 국세청은 이듬해 빅데이터와 IT기술을 활용해 '통합형 탈세 및 사기 범죄 방지 시스템'을 구축, 납세자의 과거 행동 정보를 분석하여 예상되는 사기 패턴을 검출하여 SNS등을 통해 고의 세금자를 찾아냈습니다. 이것은 연간 3,450억 달러의 탈세를 막아내는 효과를 거두었고 이때 분석툴로 하둡(Hadoop)이 주로 활용되었다고 합니다.

빅데이터는 쇼핑, 광고, 선거, 스포층 사회 전반에 걸쳐 광범위하게 활용되어 지고 있는데요. 2014년 브라질 월드컵에서 우승한 독일 국가 대표팀은 준비 과정에서 훈련 및 실전 경기 분석에 빅데이터를 활용하였습니다.

2011년 국내에서 개봉한 브래드 피트 주연의 '머니볼(Moneyball)'이라는 영화 혹시 기억 하시나요? 동명의 이론을 주창한 미국 프로야구 메이저리그 만년 최하위 '오클랜드 애슬레틱스'의 '빌리 빈' 단장의 이야기를 그리고 있습니다. 

메이저리그는 철저히 자본주의가 지배하는 대표적 스포츠인데요. 빌리 빈 단장은 컴퓨팅 통계·분석을 통해 홈런이나 타율이 높은 스타 선수보다 출루율이 높은 선수가 득점 확률이 높다고 판단, 고액 연봉의 유명한 선수를 내보내고 출루율은 좋지만 몸값이 싼 선수들로 팀을 채워 나가기 시작합니다.

당시 야구계는 이런 빌리 빈의 선택에 비웃음을 보냈지만 부자 구단을 물리치고 4년 연속 포스트시즌에 진출하는 파란을 일으킵니다. 2002년 시즌에는 메이저리그의 유일한 기록인 팀 20연승을 거두었고, 메이저리그 가장 부자 구단중의 하나인 뉴욕 양키스와 동등한 103을 기록하며 어깨를 나란히 합니다. 

2002년 시즌 개막 당시 빌리 빈이 운영한 오클랜드가 지출한 연봉 총액은 4천만 달러였고 뉴욕 양키스는 이것의 3배인 1억 2천6백만 달러를 쏟아 부었습니다. 자본이 스포츠에 미치는 영향을 고려한다면 2팀의 성적은 확연히 차이가 나야하는게 당연했지만 동일한 승수를 올리는 놀라운 성적을 보여준 것입니다.

철저한 데이터에 기반한 팀 운영을 통하여 거대 자본으로 밀어 붙인 뉴욕 양키스가 조금은 무안해 질 수도 있는 성과를 만들어 냈습니다.

이렇듯 빅데이터는 어떻게 활용하느냐에 따라서 비용과 시간을 절감하고 그 효과는 극대화 시킬 수 있는데요. 반면에 개인의 사생활 침해와 보안 문제라는 그림자도 존재 합니다. 

수많은 개인들의 정보가 수시로 수집되고 있는 상황속에서 이것이 보안 문제로 유출이라도 된다면 그 피해는 고스란히 개인에게 미치기 때문인데요. 이러한 빅데이터의 그림자를 얼마나 슬기롭게 해결해 나갈지 모두가 주목하고 있습니다.