program_language 및 궁금한것
-
[빅데이터분석기사/필기] 1-3-2. 데이터 적재 및 저장program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 20. 19:52
01. 데이터 적재 1) 데이터 수집 및 적재 연계 (1) 데이터 수집 도구를 이용한 데이터 적재 (2) NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재 (3) 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재 2) 데이터 적재 완료 테스트 * 정형데이터 - 테이블의 개수 - 속성의 개수 - 데이터 타입의 일치 여부 - 레코드 수 일치 여부 * 반정형/비정형 - 원천 데이터 테이블이 목적지 저장시스템에 맞게 생성 - 레코드 수 일치 02. 데이터 저장 1) 빅데이터 저장 시스템 - 데이터 제공 신뢰성과 가용성을 보장 (1) 파일 시스템 저장방식 (2) 데이터 베이스 저장방식 * NoSQL 데이터 베이스 분류 - key-value 데이터 베이스 (단순한 데이터 모델에 기반을 두기 때문에 관계..
-
[빅데이터분석기사/필기] 1-3-1. 데이터 수집 및 전환program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 20. 19:38
01. 데이터 수집 1) 데이터 수집 개요 - 여러 장소에 있는 데이터를 한곳으로 모으는 것 * 데이터 수집 시스템 구축 절차 수집 데이터 유형 파악 -> 수집 기술 결정 -> 아키텍처 수립 -> 하드웨어 구축 -> 실행환경 구축 2) 비즈니스 도메인과 원천 데이터 정보 수집 (1) 비즈니스 도메인 정보 - 비즈니스 모델 - 비즈니스 용어집 - 비즈니스 프로세스 (2) 원천 데이터 정보 - 데이터의 수집 가능성 - 데이터의 보안 - 데이터의 정확성 - 수집 난이도 - 수집 비용 3) 내, 외부 데이터 수집 (1) 데이터의 종류 * 내부 데이터 - 서비스 시스템 - 네트워크 및 서버 장비 - 마케팅 데이터 * 외부 데이터 - 소셜 데이터 - 특정기관 데이터 - M2M 데이터 - LOD(Linked Open..
-
[빅데이터분석기사/필기] 1-2-2. 분석 작업 계획program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 18. 01:37
01. 분석 작업 개요 1) 데이터 처리 영역 - 데이터 분석을 위한 기초 데이터를 정의 하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 - 데이터 소스, 수집, 저장, 처리 2) 데이터 분석 영역 - 저장되어 있는 데이터를 추출하여 분석 목적과 방법에 맞게 가공한 후 데이터 분석을 직접 수행하고 그 결과를 표현하는 영역 (1) 데이터 분석 - NCS(국가직무능력표준) - 도메인 이슈 도출 - 분석목표 수립 - 프로젝트 계획 수립 - 보유 데이터 자산 확인 02. 데이터 확보 계획 1) 데이터 확보를 위한 사전 검토사항 (1) 필요 데이터의 정의 (2) 보유 데이터의 현황파악 (3) 분석 데이터의 유형 (4) 편향되지 않고 충분한 양의 데이터 규모 - 훈련 데이터셋(Training..
-
[빅데이터분석기사/필기] 1-2-1. 분석 방안 수립program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 17. 00:07
01. 데이터 분석 - 인사이트를 발굴하고 이를 공유하여 의사결정을 지원하는 것을 목표로 데이터를 정의, 수집, 변환, 모델링, 시각화 하는 과정이다. 1) 데이터 분석의 지향점 (1) 전략적 통찰이 없는 데이터 분석 배제 (2) 일차원적인 데이터 분석 지양 (3) 전략 도출을 위한 가치 기반 데이터 분석 지향 2) 데이터 분석 시 고려사항 - 데이터는 규모가 아니라 어떤 시각과 통찰을 얻을 수 있느냐의 문제이다. 02. 데이터 분석 기획 - 어떠한 목표를 달성하기 위해 어떠한 데이터를 가지고 어떤 방식으로 수행할 것인가에 대한 일련의 계획 수립 1) 분석 기획의 특징 (1) 분석 대상과 방법에 따른 분류 분석의 대상(What) 분석의 방식(how) Optimization Insight Solution ..
-
[빅데이터분석기사/필기] 1-1-2. 빅데이터 기술 및 제도program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 15. 22:57
01. 빅데이터 플랫폼 - 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합 제공 1) 빅데이터 플랫폼의 등장배경 (1) 비즈니스 요구사항 변화 (2) 데이터 규모와 처리 복잡도 증가 (3) 데이터 구조의 변화와 신속성 요구 (4) 데이터 분석 유연성 증대 2) 빅데이터 플랫폼의 기능 (1) 컴퓨팅 부하 발생 (2) 저장 부하 발생 (3) 네트워크 부하 발생 3) 빅데이터 플랫폼의 조건 4) 빅데이터 플랫폼의 구조 02. 빅데이터 처리 기술 1) 빅데이터 처리 과정과 요소기술 (1) 데이터 생성 (2) 수집 - 크롤링, ETL, Open API, 로그 수집기 (3) 저장(공유) - 병렬DBMS, 하둡, NoSQL (4) 처리 - 하둡, 맵리듀스, In-memory 방식으로 실시간 처리 (5) 분석..
-
[빅데이터분석기사/필기] 1-1-1. 빅데이터 개요 및 활용program_language 및 궁금한것/빅데이터 분석 기사 2021. 9. 13. 20:30
빅데이터 분석기사 필기 접수를 하고 시험 준비를 위한 정리를 블로그에 틈틈히 하려 합니다. 책은 이기적(이렇게 기막힌 접중률) 의 빅데이터 분석기사 필기 책을 참고하였는데 브랜드 이름만큼 꼭 이 책의 개념 정리 한것들이 시험에 다 나왔으면 좋겠습니다. 부족한 내용이다 궁금한 점들은 자유롭게 댓글로 남겨 주시면 답변 드리겠습니다. 공부의 가장 좋은 방법은 누군가에게 설명하는 것이라 합니다 ㅎㅎ 얼마남지 않은 시험기간동안 모두 파이팅 해보자구요. 01. 데이터와 정보 1) 데이터의 정의 - 추론과 추정의 근거를 이루는 사실 - 현실 세계에서 관찰하거나 측정하여 수집한 사실 2) 데이터의 특징 - 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 갖는다. - 객관적 사실이라는 존재적 ..
-
[백준] 8393 1~n까지 더하기 JAVAprogram_language 및 궁금한것/알고리즘 2021. 8. 4. 20:47
https://www.acmicpc.net/problem/8393 8393번: 합 n이 주어졌을 때, 1부터 n까지 합을 구하는 프로그램을 작성하시오. www.acmicpc.net 나는 공식을 사용해서 풀었다. 이 외에 for문으로 1~n으로 더하는 방법도있다. 1~n까지의 합: n * (n+1) / 2 BufferedReader br = new BufferedReader(new InputStreamReader(System.in)); int n = Integer.parseInt(br.readLine()); System.out.println(n*(n+1)/2);
-
[백준] 2884번 알람시계JAVAprogram_language 및 궁금한것/알고리즘 2021. 8. 4. 06:12
https://www.acmicpc.net/problem/2884 2884번: 알람 시계 상근이는 매일 아침 알람을 듣고 일어난다. 알람을 듣고 바로 일어나면 다행이겠지만, 항상 조금만 더 자려는 마음 때문에 매일 학교를 지각하고 있다. 상근이는 모든 방법을 동원해보았지만, www.acmicpc.net 나는 시분을 합친 총합에서 45분을 빼는 알고리즘으로 구현했다. 0시일 경우에만 23시로 지정해주고 분은 마이너스 값이 나올테니 60분을 더해줬다. BufferedReader br = new BufferedReader(new InputStreamReader(System.in)); String str = br.readLine(); String[] arr = str.split(" "); int h = Inte..