상세 컨텐츠

본문 제목

#2 빅데이터 개요

기초/IT 기본 지식

by 2^7 2024. 6. 23. 13:44

본문

▶ 빅데이터

  •  일반적인 데이터베이스 SW로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
  •  대량의 정형 및 비정형 데이터(수십 TB 이상)
  •  데이터로부터 가치를 추출하고 결과를 분석하여 통찰, 지혜를 얻는 과정(DIKW)
    • 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출
    • DIKW
      • D (Data) : 객관적 사실로 가공전의 순수한 수치나 기호
      • I(Information) : 가공, 처리 후 데이터간의 연관관계와 함께 의미를 도출
      • K(Knowledge) : 다양한 정보를 구조화하여 유의미한 정로보 분류하고 일반화
      • W(Wisdom) : 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어

 

 빅데이터의 특성

  •  3V : Volume, Variety, Velocity
    • Volume(규모) : ICT 기술 발전으로 텍스트부터 이미지, 영상 등 다양한 멀티미디어 데이터의 양이 증가
    • Variety(다양성) : 정형 데이터 및 비정형, 반정형 데이터
    • Velocity(속도) : 데이터처리 및 분석 속도

 

 빅데이터의 가치

  1. 경제적 자산 : 새로운 기회 창출, 위험을 해결하여 사회, 경제 발전에 도움
  2. 불확실성 제거 : 현실세계의 데이터를 기반으로 패턴 분석과 미래를 예측
  3. 리스크 감소 ; 소셜 네트워크, 환경, 모니터링 정보의 패턴을 분석하여 위험 징후 및 이상 징후 포착
  4. 스마트한 경쟁력 : 대규모 데이터 분석을 통한 상황 인지, 개인화/지능화 서비스 제공
  5. 타 분야 융합 : 방대한 데이터 활용을 통한 새로운 융합시장 발굴 

 

▶빅데이터의 가치 산정의 어려움

  1. 데이터 활용 방식의 다양화 
    • 데이터의 재사용, 재조합, 다목적용 데이터 개발 등으로 특정 데이터를 언제/어디서/어떻게 활용하는지 알기 어려워 가치 산정이 어려움
  2. 새로운 가치 창출 
    • 기존에 없던 가치를 창출하여 가치 산정이 어려움
  3. 분석기술의 발달
    • 기술의 발달로 지금은 가치 없는 데이터도 새로운 분석 기법의 등장으로 새로운 가치를 만들어 낼 가능성이 있음

 

▶빅데이터의 활용 기법

  • 연관 규칙 학습
    • 변수 간 주목할 만한 상관관계가 있는지 찾아내는 방법
  • 유형 분석
    • 새로운 사건이 속하게 될 범주를 찾아내는 통계적 분류
  • 유전 알고리즘
    • 최적화가 필요한 문제의 해결책을 자연 선택, 돌연변이 등과 같이 매커니즘을 통해 점진적으로 진화시켜 나가는 방법
  • 기계학습
    • 훈련 데이터로 학습한 알려진 특성을 활용해 예측
  • 회귀분석
    • 선형함수로 나타낼 수 있는 수치 데이터 분석
  • 감정분석
    • 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석
  • 소셜 네트워크 분석
    • 사회 관계망 분석

 

▶빅데이터의 문제점 및 해결방안

  • 사생활 침해 : 사용 목적 외 활용된 개인정보가 포함된 데이터 사용에 따라 사생활 침해 및 사회/경제적 위협
    • 책임의 강조 : 사용자에게 개인정보의 유출 및 동의 없는 사용에 따른 피해에 대한 책임을 지게 함
    • 동의제에서 책임제로 전환
  • 책임 원칙 훼손 : 예측 기술의발전으로 예측 알고리즘의 희생양이 될 가능성 증가되며 잠재적 위협에 기반하여 책임을 묻게 되면 민주주의 원리를 훼손할 가능성이 존재
    • 결과 기반의 책임 적용 : 기존의 원칙 보강 및 강화와 예측 자료에 의한 불이익 가능성을 최소화 하는 장치를 마련
  • 데이터 오용 : 데이터 분석은 실제 일어난 일에 대한 데이터에 의존하여 예측 함으로 항상 맞을 수 없는 오류가 존재하며 잘못된 지표를 사용하는 것 또한 빅데이터의 피해가 될 수 있음
    • 알고리즘에 대한 접근 허용 : 예측 알고리즘의 부당함을 반증할 수 있는 알고리즘에 대한 접근을 허용
    • 객관적인 인증 방안을 도입해야 하는 필요성 제고

 

 

728x90

'기초 > IT 기본 지식' 카테고리의 다른 글

#5 자바 표준 라이브러리  (1) 2024.10.07
#4. 인터프리터 언어  (1) 2024.08.19
#3. 인공지능, 머신러닝, 딥러닝  (0) 2024.06.23
#1. 라이브러리와 프레임워크  (0) 2024.06.09
#0. IT 기초 지식 Intro  (0) 2024.06.06

관련글 더보기