빅데이터분석기사 필기요약
-
[빅데이터분석기사/필기] 2-2-1. 분석변수 처리program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 22. 10:00
01. 데이터 탐색의 개요 1) 탐색적 데이터 분석(EDA) 2) 탐색적 데이터 분석의 필요성 - 데이터의 분포 및 값을 검토함으로써 데이터가 표현하는 현상을 이해 - 내재된 잠재적 문제에 대해 인식하고 해결안을 도출할 수 있음 - 문제점 발견 시 본 분석 전 데이터의 수집 의사를 결정 - 다양한 각도에서 데이터를 살펴보는 과정을 통해 문제정의 단계에서 인지 못한 새로운 양상, 패턴을 발견할 수 있다 3) 분석과정 및 절차 - 분석의 목적과 변수가 무엇인지, 개별변수의 이름이나 설명을 가지는지 확인 - 데이터 결측치의 유무, 이상치의 유무 등을 확인 - 데이터의 개별 속성값이 예상한 범위 분포를 가지는지 확인 - 관계속성 확인 절차 4) 이상치의 검출 (1) 개별 데이터 관찰 (2) 통계값 활용 - 데이..
-
[빅데이터분석기사/필기] 1-3-1. 데이터 수집 및 전환program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 20. 19:38
01. 데이터 수집 1) 데이터 수집 개요 - 여러 장소에 있는 데이터를 한곳으로 모으는 것 * 데이터 수집 시스템 구축 절차 수집 데이터 유형 파악 -> 수집 기술 결정 -> 아키텍처 수립 -> 하드웨어 구축 -> 실행환경 구축 2) 비즈니스 도메인과 원천 데이터 정보 수집 (1) 비즈니스 도메인 정보 - 비즈니스 모델 - 비즈니스 용어집 - 비즈니스 프로세스 (2) 원천 데이터 정보 - 데이터의 수집 가능성 - 데이터의 보안 - 데이터의 정확성 - 수집 난이도 - 수집 비용 3) 내, 외부 데이터 수집 (1) 데이터의 종류 * 내부 데이터 - 서비스 시스템 - 네트워크 및 서버 장비 - 마케팅 데이터 * 외부 데이터 - 소셜 데이터 - 특정기관 데이터 - M2M 데이터 - LOD(Linked Open..
-
[빅데이터분석기사/필기] 1-2-1. 분석 방안 수립program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 17. 00:07
01. 데이터 분석 - 인사이트를 발굴하고 이를 공유하여 의사결정을 지원하는 것을 목표로 데이터를 정의, 수집, 변환, 모델링, 시각화 하는 과정이다. 1) 데이터 분석의 지향점 (1) 전략적 통찰이 없는 데이터 분석 배제 (2) 일차원적인 데이터 분석 지양 (3) 전략 도출을 위한 가치 기반 데이터 분석 지향 2) 데이터 분석 시 고려사항 - 데이터는 규모가 아니라 어떤 시각과 통찰을 얻을 수 있느냐의 문제이다. 02. 데이터 분석 기획 - 어떠한 목표를 달성하기 위해 어떠한 데이터를 가지고 어떤 방식으로 수행할 것인가에 대한 일련의 계획 수립 1) 분석 기획의 특징 (1) 분석 대상과 방법에 따른 분류 분석의 대상(What) 분석의 방식(how) Optimization Insight Solution ..
-
[빅데이터분석기사/필기] 1-1-2. 빅데이터 기술 및 제도program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 15. 22:57
01. 빅데이터 플랫폼 - 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합 제공 1) 빅데이터 플랫폼의 등장배경 (1) 비즈니스 요구사항 변화 (2) 데이터 규모와 처리 복잡도 증가 (3) 데이터 구조의 변화와 신속성 요구 (4) 데이터 분석 유연성 증대 2) 빅데이터 플랫폼의 기능 (1) 컴퓨팅 부하 발생 (2) 저장 부하 발생 (3) 네트워크 부하 발생 3) 빅데이터 플랫폼의 조건 4) 빅데이터 플랫폼의 구조 02. 빅데이터 처리 기술 1) 빅데이터 처리 과정과 요소기술 (1) 데이터 생성 (2) 수집 - 크롤링, ETL, Open API, 로그 수집기 (3) 저장(공유) - 병렬DBMS, 하둡, NoSQL (4) 처리 - 하둡, 맵리듀스, In-memory 방식으로 실시간 처리 (5) 분석..
-
[빅데이터분석기사/필기] 1-1-1. 빅데이터 개요 및 활용program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 13. 20:30
빅데이터 분석기사 필기 접수를 하고 시험 준비를 위한 정리를 블로그에 틈틈히 하려 합니다. 책은 이기적(이렇게 기막힌 접중률) 의 빅데이터 분석기사 필기 책을 참고하였는데 브랜드 이름만큼 꼭 이 책의 개념 정리 한것들이 시험에 다 나왔으면 좋겠습니다. 부족한 내용이다 궁금한 점들은 자유롭게 댓글로 남겨 주시면 답변 드리겠습니다. 공부의 가장 좋은 방법은 누군가에게 설명하는 것이라 합니다 ㅎㅎ 얼마남지 않은 시험기간동안 모두 파이팅 해보자구요. 01. 데이터와 정보 1) 데이터의 정의 - 추론과 추정의 근거를 이루는 사실 - 현실 세계에서 관찰하거나 측정하여 수집한 사실 2) 데이터의 특징 - 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 갖는다. - 객관적 사실이라는 존재적 ..