[빅데이터분석기사/필기] 1-3-2. 데이터 적재 및 저장

01. 데이터 적재

 

1) 데이터 수집 및 적재 연계

(1) 데이터 수집 도구를 이용한 데이터 적재

(2) NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재

(3) 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재

 

2) 데이터 적재 완료 테스트

* 정형데이터

- 테이블의 개수

- 속성의 개수

- 데이터 타입의 일치 여부

- 레코드 수 일치 여부

* 반정형/비정형

- 원천 데이터 테이블이 목적지 저장시스템에 맞게 생성

- 레코드 수 일치

 

02. 데이터 저장

1) 빅데이터 저장 시스템

- 데이터 제공 신뢰성과 가용성을 보장

(1) 파일 시스템 저장방식

(2) 데이터 베이스 저장방식

* NoSQL 데이터 베이스 분류

- key-value 데이터 베이스

(단순한 데이터 모델에 기반을 두기 때문에 관계형 데이터베이스보다 확장성이 뛰어나고 질의 응답시간이 빠르다)

- column-oriented 데이터 베이스

- document 데이터 베이스

 

2) 빅데이터 저장시스템 선정을 위한 분석

(1) 기능성 비교분석

- 데이터 모델

- 확장성

- 트랜잭션 일관성

- 질의 지원

- 접근성

(2) 분석방식 및 환경

(3) 분석대상 데이터 유형

(4) 기존 시스템과의 연계

 

3) 데이터 발생 유형 및 특성

- 일반적으로 실시간으로 처리해야 하는 데이터를 스트리밍 데이터로 통칭

- 대용량의 특성과 무중단 서비스를 보장

- 연속적, 대용량, 다양한 장소에서 발생