빅데이터분석기사 필기 요약
-
[빅데이터분석기사/필기] 2-1-2. 분석변수 처리program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 22. 08:15
01. 변수 선택 1) 변수별 모형의 분류 전체 모형 축소 모형 영 모형 2) 변수의 선택 방법 전진 선택법 영 모형에서 시작, 모든 독립변수 중 종속변수와 단순상관계수의 절대값이 가장 큰 변수를 분석 모형에 포함 부분 F검성을 통해 유의성 검증을 시행, 유의한 경우는 가장 큰 F 통계량을 가지는 모형을 선택하고 유의하지 않은 경우는 변수 선택 없이 과정을 중단 한번 추가된 변수는 제거하지 않는 것이 원칙 후진 선택법 전체 모델에서 시작, 모든 독립변수 중 종속변수와 단순 상관계수의 절댓값이 가장 작은 변수를 분석모형에서 제외 부분 F 검정을 통해 유의성 검증을 시행, 유의하지 않은 경우는 변수를 제거하고 유의한 경우는 변수제거 없이 과정을 중단 한번 제거된 변수는 추가하지 않음 단계적 선택법 전진 선택..
-
[빅데이터분석기사/필기] 2-1-1. 데이터 전처리program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 21. 12:55
01. 데이터에 내재된 변수의 이해 1) 데이터 관련 정의 (1) 데이터(Data): 관심의 대상이 되는 사물이나 사건의 속성을 일정한 규칙에 의해 측정, 조사, 관찰하여 습득 (2) 단위(Unit): 관찰 되는 항목 또는 대상을 지칭 (3) 관측값(Observation): 각 조사 단위별 기록정보 또는 특성을 말한다. (4) 변수(Variable): 각 단위에서 측정된 특성 결과 (5) 원자료(Raw Data): 표본에서 조사된 최초의 자료를 이야기한다. 2) 데이터의 종류 (1) 단변량자료 - 자료의 특성을 대표하는 특성 변수가 하나인 자료 (2) 다변량 자료 - 자료의 특성을 대표하는 특성변수가 두가지 이상인 자료 (3) 질적자료 - 정성적 자료라고도 하며 자료를 범주의 형태로 분류 명목자료: 측정..
-
[빅데이터분석기사/필기] 1-3-2. 데이터 적재 및 저장program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 20. 19:52
01. 데이터 적재 1) 데이터 수집 및 적재 연계 (1) 데이터 수집 도구를 이용한 데이터 적재 (2) NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재 (3) 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재 2) 데이터 적재 완료 테스트 * 정형데이터 - 테이블의 개수 - 속성의 개수 - 데이터 타입의 일치 여부 - 레코드 수 일치 여부 * 반정형/비정형 - 원천 데이터 테이블이 목적지 저장시스템에 맞게 생성 - 레코드 수 일치 02. 데이터 저장 1) 빅데이터 저장 시스템 - 데이터 제공 신뢰성과 가용성을 보장 (1) 파일 시스템 저장방식 (2) 데이터 베이스 저장방식 * NoSQL 데이터 베이스 분류 - key-value 데이터 베이스 (단순한 데이터 모델에 기반을 두기 때문에 관계..
-
[빅데이터분석기사/필기] 1-2-2. 분석 작업 계획program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 18. 01:37
01. 분석 작업 개요 1) 데이터 처리 영역 - 데이터 분석을 위한 기초 데이터를 정의 하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 - 데이터 소스, 수집, 저장, 처리 2) 데이터 분석 영역 - 저장되어 있는 데이터를 추출하여 분석 목적과 방법에 맞게 가공한 후 데이터 분석을 직접 수행하고 그 결과를 표현하는 영역 (1) 데이터 분석 - NCS(국가직무능력표준) - 도메인 이슈 도출 - 분석목표 수립 - 프로젝트 계획 수립 - 보유 데이터 자산 확인 02. 데이터 확보 계획 1) 데이터 확보를 위한 사전 검토사항 (1) 필요 데이터의 정의 (2) 보유 데이터의 현황파악 (3) 분석 데이터의 유형 (4) 편향되지 않고 충분한 양의 데이터 규모 - 훈련 데이터셋(Training..