빅테이터 처리 시스템의 목표

1. 결함 허용 시스템 (Fault Tolerance)

- 모든 시스템은 애플리케이션 문제 또는 하드웨어 리소스 문제로 인해 장애가 발생 할 수 있음. 

- 장애가 발생해도 시스템이 대체 시스템이나 고장 대응체계를 통해서 시스템 운영을 계속하는것 

- 빅데티어 처리를 위해서는 장애가 발생해도 버티고 수행하는 능력인 "결함 허용 시스템"을 갖추어야함.

하둡(Hadoop)에서의 결함 허용전략

클러스터 내의 노드가 수행죽에 죽거나,실행이 실패하는 경우

다른 노드에 작업(job)을 재할당

작업 재수행(Restart)을 자동으로 수행 

2. 저비용시스템 (Cost Effective System)

-빅테이터라고 해서 항상 큰 비용이 드는 것은 아님

- 작업에 적합한 도구를 적절하게 선택하여 데이터 처리에 드는 비용을 절감할 수 있음.

- 처리할 데이터 구조,답변시간,처리량에 따라서 적절한 비용에 따라 툴을 선택 

 -시스템 구축시 장점. (초기도입비용이 저렴하여 가격 경쟁력이 높음, 저렴한 비용의 성능이 낮은 서버로 시스템 구성가능,오픈소스 또는 상용 소프트웨어 도입으로 인한 라이선스 비용절감)

-하둡(Hadoop)에서의 비용 절감 전략

다양한 유틸리티로 시스템 처리 비용감소, 저렴한 서버를 사용하여 분산처리,전체 장애 가능성 감소

수평 확장(Scale Out)이 가능한 구조로 설계되어 저비용 시스템 구축 가능 , 확장성 증대 

수직확장 (Scale Up)  확장성의 한계가있다.

빅테이터에서는 스케일 아웃방식으로 가는게 낫겟다. 

기존 시스템과 연계성 

소셜,시스템로그,텍스트,멀티미디어,센서 로그 등->다양한 데이터 종류에 대한 수집및 처리 필요, 기존 DBMS와 하둡 시스템연계필요

빅데이터 처리 기술의 필요성

• 빅데이터 특성은 데이터의 크기(Volume), 발생속도(Velocity), 다양성(Variety) 등 3V로
  표현될 수 있음
• 빅데이터 처리 기술의 요구사항은 실시간 데이터 처리, 분산 병렬 처리, 비정형 데이터 처리 등이 있음
• 빅데이터 처리 시스템이란 대용량 데이터를 분산 병렬 처리하고 관리하는 시스템을 말함
• 빅데이터 처리 시스템은 대규모 양의 데이터의 수집, 관리, 유통, 분석을 처리하는 일련의
  분산 병렬 처리 프레임워크를 제공함

빅데이터 처리 시스템 목표

• 빅데이터 처리 시스템의 설계 원칙 및 목표
  - 결함 허용 시스템
  - 저비용 시스템
  - 기존 시스템과의 연계성을 제공
• 결함 허용 시스템이란 장애가 발생하여도 버티고 수행하는 능력을 의미함
• 하둡에서 결함 허용 시스템을 보장하기 위해서 클러스터 내에 있는 노드가 죽거나, 실행이
  실패하는 경우에 클러스터 내에 있는 다른 노드에 작업을 재할당하거나 노드를 자동으로
  재수행하여 전체 수행에 문제가 없도록 하는 것