#2 빅데이터 개요

▶ 빅데이터

•  일반적인 데이터베이스 SW로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
•  대량의 정형 및 비정형 데이터(수십 TB 이상)
•  데이터로부터 가치를 추출하고 결과를 분석하여 통찰, 지혜를 얻는 과정(DIKW)
  • 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출
  • DIKW
    • D (Data) : 객관적 사실로 가공전의 순수한 수치나 기호
    • I(Information) : 가공, 처리 후 데이터간의 연관관계와 함께 의미를 도출
    • K(Knowledge) : 다양한 정보를 구조화하여 유의미한 정로보 분류하고 일반화
    • W(Wisdom) : 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어

 

▶ 빅데이터의 특성

•  3V : Volume, Variety, Velocity
  • Volume(규모) : ICT 기술 발전으로 텍스트부터 이미지, 영상 등 다양한 멀티미디어 데이터의 양이 증가
  • Variety(다양성) : 정형 데이터 및 비정형, 반정형 데이터
  • Velocity(속도) : 데이터처리 및 분석 속도

 

▶ 빅데이터의 가치

1. 경제적 자산 : 새로운 기회 창출, 위험을 해결하여 사회, 경제 발전에 도움
2. 불확실성 제거 : 현실세계의 데이터를 기반으로 패턴 분석과 미래를 예측
3. 리스크 감소 ; 소셜 네트워크, 환경, 모니터링 정보의 패턴을 분석하여 위험 징후 및 이상 징후 포착
4. 스마트한 경쟁력 : 대규모 데이터 분석을 통한 상황 인지, 개인화/지능화 서비스 제공
5. 타 분야 융합 : 방대한 데이터 활용을 통한 새로운 융합시장 발굴 

 

▶빅데이터의 가치 산정의 어려움

1. 데이터 활용 방식의 다양화 
   • 데이터의 재사용, 재조합, 다목적용 데이터 개발 등으로 특정 데이터를 언제/어디서/어떻게 활용하는지 알기 어려워 가치 산정이 어려움
2. 새로운 가치 창출 
   • 기존에 없던 가치를 창출하여 가치 산정이 어려움
3. 분석기술의 발달
   • 기술의 발달로 지금은 가치 없는 데이터도 새로운 분석 기법의 등장으로 새로운 가치를 만들어 낼 가능성이 있음

 

▶빅데이터의 활용 기법

• 연관 규칙 학습
  • 변수 간 주목할 만한 상관관계가 있는지 찾아내는 방법
• 유형 분석
  • 새로운 사건이 속하게 될 범주를 찾아내는 통계적 분류
• 유전 알고리즘
  • 최적화가 필요한 문제의 해결책을 자연 선택, 돌연변이 등과 같이 매커니즘을 통해 점진적으로 진화시켜 나가는 방법
• 기계학습
  • 훈련 데이터로 학습한 알려진 특성을 활용해 예측
• 회귀분석
  • 선형함수로 나타낼 수 있는 수치 데이터 분석
• 감정분석
  • 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석
• 소셜 네트워크 분석
  • 사회 관계망 분석

 

▶빅데이터의 문제점 및 해결방안

• 사생활 침해 : 사용 목적 외 활용된 개인정보가 포함된 데이터 사용에 따라 사생활 침해 및 사회/경제적 위협
  • 책임의 강조 : 사용자에게 개인정보의 유출 및 동의 없는 사용에 따른 피해에 대한 책임을 지게 함
  • 동의제에서 책임제로 전환

• 책임 원칙 훼손 : 예측 기술의발전으로 예측 알고리즘의 희생양이 될 가능성 증가되며 잠재적 위협에 기반하여 책임을 묻게 되면 민주주의 원리를 훼손할 가능성이 존재
  • 결과 기반의 책임 적용 : 기존의 원칙 보강 및 강화와 예측 자료에 의한 불이익 가능성을 최소화 하는 장치를 마련

• 데이터 오용 : 데이터 분석은 실제 일어난 일에 대한 데이터에 의존하여 예측 함으로 항상 맞을 수 없는 오류가 존재하며 잘못된 지표를 사용하는 것 또한 빅데이터의 피해가 될 수 있음
  • 알고리즘에 대한 접근 허용 : 예측 알고리즘의 부당함을 반증할 수 있는 알고리즘에 대한 접근을 허용
  • 객관적인 인증 방안을 도입해야 하는 필요성 제고