빅데이터(Big Data)란 무엇인가?

빅데이터 (Big Data)

 

기존의 데이터 처리 응용 소프트웨어가 처리하기에 매우 거대(Large)하거나 복잡한(Complex) 데이터의 집합입니다.

이 처럼 데이터가 거대하고 복잡한것을 빅데이터라고 합니다. 그러나 빅데이터를 처리하기 위해 과거의 방법들을 사용한다면 비효율적이고, 효과적이지 않을수가 있기 때문에, 빅 데이터를 취급하기 위한 전혀 다른 새로운 방법론의 필요성 대두 되고 있습니다.

 

정보 통신 기술의 주도권이 데이터(Data)로 이동하면서 데이터의 양이 매우 방대해졌습니다. 예전의 정보의 바다와 지금의 정보의 바다와는 달라진겁니다. 비유하자면 과거 PC시대에는 데이터의 양이 호수정도라고한다면 인터넷시대와 모바일시대까지 변화하게 되면서 데이터의 양이 바다정도로 커지게 된거죠 현존하는 데이터의 양이 1ZB를 초과하게 되었습니다. 이를 제타시대라고 부르고있습니다.

 

빅데이터의 세가지 특성은 기본적으로

• 규모

-> 디지털의 정보량이 기하급수적으로 증가하고, 이에따른 데이터 처리 수요가 증가합니다.

• 다양성

-> 여러가지 log(기록)들과, SNS, 소비 등 데이터 종류가 증가하고, 이에따른 데이터에 대한 수용 및 처리 방법론이 필요합니다.

• 속도

-> IOT(사물인터넷), 스트리밍 등 실시간으로 처리하는 정보와 속도가 중요해지며, 이를 빠르게 처리하고 분석하는 플랫폼이 필요합니다.

위 세가지 특성을 기본적으로 가지고 있고, 추가로 4가지의 특성으로는 정확성, 가치, 가변성, 시각화가 있습니다.

 

이러한 빅데이터 분석 및 활용 기술을 바탕으로 다양한 산업분야에서 활용되어질 수 있는데,

 

1. 공공 서비스

방대한 데이터를 국가적으로 활용 가능합니다. 현재에도 국가에서는 공공 API를 운영하면서 각종 자원들을 민간에게 배포하고 이를 활용할 수 있게끔 합니다. 그리고 각종 스맡 그리드, 재난 방재등에 사용될 수 있습니다.

 

2. 과학 연구

데이터로부터 새로운 의미의 발견이 가능하고, 데이터를 표현하는 새로운 방법론을 적용합니다.

 

3. 의료 서비스

의료 데이터의 효율적, 효과적 수집 및 공유가 가능하고 이로인한 진단, 처방, 시술, 수술 등에 의료 혁명을 예상하고 있습니다.

 

4. 물류/유통

데이터를 통해 소비자의 니즈(NEEDS)를 파악하고 보다 효과적인 물류 유통이 가능하게 됩니다.

 

5. 제조 산업

제품의 수율을 극대화하기 위하여 데이터를 활용하고 불량률을 최소화 할 수 있고 제조의 효율화가 가능합니다.

 

6. 정보 통신

모바일 기기(스마트폰)의 보급 확대로 개인 데이터가 많아지며 이러인한 개인화된 데이터를 바탕으로 개인 맞춤형 서비스 및 목표 마케팅이 가능해집니다.

 

이처럼 수많은 산업군에서 다양하게 적용될 수 있으며 이는 그중 몇가지만 제시한것입니다. 우리가 실상에서 정보를 찾거나, 유튜브를 보고, 블로그 기타 사이트를 볼때 광고에서 우리가 평소에 눈여겨보면서 검색한 키워드, 자주 들르는 사이트 등 여러가지 데이터를 알게모르게 수집되어 우리가 보는 광고가 우리의 니즈를 채워즈는 경우가 종종 있습니다.

 

예를들어 우리가 라면을 먹고싶어서 어떤라면을먹을까 찾아보다가, 문득 구글 광고에서 라면광고가 나오는것이죠, 혹은 신발을 사고싶어서 실발을 온라인 쇼핑을 하다가 보니 광고에서 신발광고가 나온다거나 이러한 것들이 정보 통신에서 개인 맞춤형 서비스 및 목표 마케팅이 되는것이죠.

 

이러한 빅데이터는 수집난이도가 높고 구성이 복잡할수록 데이터의 잠재적 가치가 높습니다. 그만큼 데이터를 수집해 처리하고 분석하는 난이도도 높아지지만, 비즈니스에서 큰 이점들 보이는 좋은 부분들이 많습니다 특히 비정형데이터의 경우에는 애매모호하고, YES OR NO 처럼 흑백으로 나뉘지 않기 때문에, 어려움들이 많지만, 이를 잘 활용한다면 여러가지 산업군에서도 잠재적인 가치가 잘 발현될것입니다.

 

이러한 빅데이터는 인간의 4차 산업혁명에서 큰 역할을 차지할 것이고, 앞으로의 IOT 사물인터넷, 에너지, 자율주행, 스마트시티 등 다양한 산업에 걸쳐 큰 변화를 가져오게 될것입니다.