전체 글
-
아이젠 하워의 시간관리 매트릭스일기 2021. 9. 24. 22:00
유투브로 켈리씨가 나오는 영상을 보다가 아침 11시 전에는 중요하지만 긴급하지 않은 일들을 처리 한다고 했었다. 그 말을 듣고 나에게 중요하지만 긴급하지 않은 일이 뭐가 있을까 생각하게 되었다. 아래 그림은 아이젠 하워의 시간관리 매트릭스이다. 긴급함 긴급x 중요함 - 회의 - 위기 - 프로젝트 - 예방 - 진정한 휴식 - 가치관 확립 - 자기계발 중요하지 않음 - 질문, 안부전화 - 우편물 - 잡다하고 하찮은일 이 중 가장 중요한 것은 중요하지만 긴급하지 않은 일이라 한다.
-
[빅데이터분석기사/필기] 2-2-1. 분석변수 처리program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 22. 10:00
01. 데이터 탐색의 개요 1) 탐색적 데이터 분석(EDA) 2) 탐색적 데이터 분석의 필요성 - 데이터의 분포 및 값을 검토함으로써 데이터가 표현하는 현상을 이해 - 내재된 잠재적 문제에 대해 인식하고 해결안을 도출할 수 있음 - 문제점 발견 시 본 분석 전 데이터의 수집 의사를 결정 - 다양한 각도에서 데이터를 살펴보는 과정을 통해 문제정의 단계에서 인지 못한 새로운 양상, 패턴을 발견할 수 있다 3) 분석과정 및 절차 - 분석의 목적과 변수가 무엇인지, 개별변수의 이름이나 설명을 가지는지 확인 - 데이터 결측치의 유무, 이상치의 유무 등을 확인 - 데이터의 개별 속성값이 예상한 범위 분포를 가지는지 확인 - 관계속성 확인 절차 4) 이상치의 검출 (1) 개별 데이터 관찰 (2) 통계값 활용 - 데이..
-
[빅데이터분석기사/필기] 2-1-2. 분석변수 처리program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 22. 08:15
01. 변수 선택 1) 변수별 모형의 분류 전체 모형 축소 모형 영 모형 2) 변수의 선택 방법 전진 선택법 영 모형에서 시작, 모든 독립변수 중 종속변수와 단순상관계수의 절대값이 가장 큰 변수를 분석 모형에 포함 부분 F검성을 통해 유의성 검증을 시행, 유의한 경우는 가장 큰 F 통계량을 가지는 모형을 선택하고 유의하지 않은 경우는 변수 선택 없이 과정을 중단 한번 추가된 변수는 제거하지 않는 것이 원칙 후진 선택법 전체 모델에서 시작, 모든 독립변수 중 종속변수와 단순 상관계수의 절댓값이 가장 작은 변수를 분석모형에서 제외 부분 F 검정을 통해 유의성 검증을 시행, 유의하지 않은 경우는 변수를 제거하고 유의한 경우는 변수제거 없이 과정을 중단 한번 제거된 변수는 추가하지 않음 단계적 선택법 전진 선택..
-
[빅데이터분석기사/필기] 2-1-1. 데이터 전처리program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 21. 12:55
01. 데이터에 내재된 변수의 이해 1) 데이터 관련 정의 (1) 데이터(Data): 관심의 대상이 되는 사물이나 사건의 속성을 일정한 규칙에 의해 측정, 조사, 관찰하여 습득 (2) 단위(Unit): 관찰 되는 항목 또는 대상을 지칭 (3) 관측값(Observation): 각 조사 단위별 기록정보 또는 특성을 말한다. (4) 변수(Variable): 각 단위에서 측정된 특성 결과 (5) 원자료(Raw Data): 표본에서 조사된 최초의 자료를 이야기한다. 2) 데이터의 종류 (1) 단변량자료 - 자료의 특성을 대표하는 특성 변수가 하나인 자료 (2) 다변량 자료 - 자료의 특성을 대표하는 특성변수가 두가지 이상인 자료 (3) 질적자료 - 정성적 자료라고도 하며 자료를 범주의 형태로 분류 명목자료: 측정..
-
[빅데이터분석기사/필기] 1-3-2. 데이터 적재 및 저장program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 20. 19:52
01. 데이터 적재 1) 데이터 수집 및 적재 연계 (1) 데이터 수집 도구를 이용한 데이터 적재 (2) NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재 (3) 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재 2) 데이터 적재 완료 테스트 * 정형데이터 - 테이블의 개수 - 속성의 개수 - 데이터 타입의 일치 여부 - 레코드 수 일치 여부 * 반정형/비정형 - 원천 데이터 테이블이 목적지 저장시스템에 맞게 생성 - 레코드 수 일치 02. 데이터 저장 1) 빅데이터 저장 시스템 - 데이터 제공 신뢰성과 가용성을 보장 (1) 파일 시스템 저장방식 (2) 데이터 베이스 저장방식 * NoSQL 데이터 베이스 분류 - key-value 데이터 베이스 (단순한 데이터 모델에 기반을 두기 때문에 관계..
-
[빅데이터분석기사/필기] 1-3-1. 데이터 수집 및 전환program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 20. 19:38
01. 데이터 수집 1) 데이터 수집 개요 - 여러 장소에 있는 데이터를 한곳으로 모으는 것 * 데이터 수집 시스템 구축 절차 수집 데이터 유형 파악 -> 수집 기술 결정 -> 아키텍처 수립 -> 하드웨어 구축 -> 실행환경 구축 2) 비즈니스 도메인과 원천 데이터 정보 수집 (1) 비즈니스 도메인 정보 - 비즈니스 모델 - 비즈니스 용어집 - 비즈니스 프로세스 (2) 원천 데이터 정보 - 데이터의 수집 가능성 - 데이터의 보안 - 데이터의 정확성 - 수집 난이도 - 수집 비용 3) 내, 외부 데이터 수집 (1) 데이터의 종류 * 내부 데이터 - 서비스 시스템 - 네트워크 및 서버 장비 - 마케팅 데이터 * 외부 데이터 - 소셜 데이터 - 특정기관 데이터 - M2M 데이터 - LOD(Linked Open..
-
[빅데이터분석기사/필기] 1-2-2. 분석 작업 계획program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 18. 01:37
01. 분석 작업 개요 1) 데이터 처리 영역 - 데이터 분석을 위한 기초 데이터를 정의 하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 - 데이터 소스, 수집, 저장, 처리 2) 데이터 분석 영역 - 저장되어 있는 데이터를 추출하여 분석 목적과 방법에 맞게 가공한 후 데이터 분석을 직접 수행하고 그 결과를 표현하는 영역 (1) 데이터 분석 - NCS(국가직무능력표준) - 도메인 이슈 도출 - 분석목표 수립 - 프로젝트 계획 수립 - 보유 데이터 자산 확인 02. 데이터 확보 계획 1) 데이터 확보를 위한 사전 검토사항 (1) 필요 데이터의 정의 (2) 보유 데이터의 현황파악 (3) 분석 데이터의 유형 (4) 편향되지 않고 충분한 양의 데이터 규모 - 훈련 데이터셋(Training..
-
[빅데이터분석기사/필기] 1-2-1. 분석 방안 수립program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 17. 00:07
01. 데이터 분석 - 인사이트를 발굴하고 이를 공유하여 의사결정을 지원하는 것을 목표로 데이터를 정의, 수집, 변환, 모델링, 시각화 하는 과정이다. 1) 데이터 분석의 지향점 (1) 전략적 통찰이 없는 데이터 분석 배제 (2) 일차원적인 데이터 분석 지양 (3) 전략 도출을 위한 가치 기반 데이터 분석 지향 2) 데이터 분석 시 고려사항 - 데이터는 규모가 아니라 어떤 시각과 통찰을 얻을 수 있느냐의 문제이다. 02. 데이터 분석 기획 - 어떠한 목표를 달성하기 위해 어떠한 데이터를 가지고 어떤 방식으로 수행할 것인가에 대한 일련의 계획 수립 1) 분석 기획의 특징 (1) 분석 대상과 방법에 따른 분류 분석의 대상(What) 분석의 방식(how) Optimization Insight Solution ..