빅데이터 처리 기술의 필요성

1. 인간과 데이터 현실의 데이터 산출물

2. 센서와 데이터 (날씨,위치,네트워크)

3. 사물인터넷과 빅데이터 

   현실세계(스마트홈,스마트팩토리,스마트 호피스텔,스마트 시티)

  ->사물인터넷(센서1.2.3...)->빅테이터 

빅데이터의 특성(3v)

1. 데이버볼륨의 증가 (수백 tb이상)

2.데이터 발생 속도 증가(Velocity)

3.데이터 포맷 다양성 증가(Variety)

 빅테이터의 유형 

정형데이터 (재무정보 급여테이블 인사정보 재고관리 거래정보 거래처 정보)

반정형데이터(웹로그 보안 및 특정센서 마케팅정보,다양한 장치 데이터)

빅테이터(형태나 구조가 정형화 되지 않은 다양한 형식의 모든 데이터) 다양해지고 속도도 빨라짐.

빅테이터 처리 시스템의 정의 

빅데이터 시스템이란? 대용량의 데이터를 분산 병렬 처리하고 관리하는 시스템

1.사용자에게 데이터의 유형에 따라서 실시간 처리배치처리를 할 수 있도록하는 프레임 워크 

2.대규모 양의 데이터의 수집,관리,유통,분석을 ㅊ처리하는 일련의 분산 병렬 처리 프레임 워크

프레임워크  (Framework)소프트웨어의 구체적인 부분에 해당하는 설계와 구현을 재사용이 가능한 협업 형태로 제공하는 소프트웨어 환경

빅테이터시스템이란?

빅테이터 처리 기술의 요구사항

1. 빅데이터의 3v특성에 맞는 새로운 데이터 처리 프레임워크 

  1)실시간 데이터를 처리,분석 이벤트를 관리하면서 데이터 질의 분석을 통합처리