빅데이터 |
빅데이터 수집 시스템 개발 |
- Web Scraping 기초
- BeautifulSoup 설치, 기본 트리 운행, 정규 표현식 이용
- 한겨레 신문 뉴스, Naver 뉴스, 동아 일보 뉴스 검색 crawling
- Web Scraping library Beautiful Soup 실습
- 시카고 샌드위치 맛집 분석
- 네이버 영화 평점 기준 영화의 평점 변화 확인하기
|
빅데이터 저장 시스템 개발 |
- Python CSV 파일 입출력
- MongoDB 특징, 구조, MongoDB 설치, 서버 실행 및 종료
- Database 생성 및 삭제, Collection 생성 및 삭제
- Documents 생성 및 삭제, 대용량 파일의 import
- MongoDB client Compass 설치 및 이용
- PyMongo 설치하기, Pycharm에서의 MongoDB와 Python 연동
- Jupyter Notebook에서의 MongoDB와 Python 연동
- Hadoop 설정 및 활용
- R, Hadoop 연동 실습
|
R, 빅데이터 처리 시스템 개발, 텍스트 데이터 분석, 빅데이터 분석 결과 시각화 |
- R project 설치, RStudio 설치 및 설정, R 프로젝트 생성
- R 데이터 구조, 데이터의 종류, 벡터(Vector)
- 연산자, 제어문, 벡터 생성 함수,
- 데이터 유형과 구조, 벡터(Vector), 연산자 실습, Factor 실습
- 행열(Matrix), 배열(Array), 리스트(List)
- 데이터 프레임(DataFrame)
- 외부 데이터 읽기(CSV, TXT, Excel, XML), 키보드 입력
- Web에서 HTML 파일 가져오기
- 외부로 데이터 출력, 외부 파일로 저장하기(TXT, Excel)
- RData 다루기
- 함수(사용자 정의 함수, 주요 내장함수)
- 데이터 조작 - plyr, reshape, reshape2 패키지
- dplyr 패키지 활용, dplyr 패키지, filter(), select()
- arrange() 실습, mutate(), summarise(), group_by() 실습
- dplyr 활용 데이터 전처리 left_join(), bind_rows() 실습
- 데이터 정제, 빠진데이터(NA), 이상한 데이터 제거하기(Outlier)
- 범주형(정수형) 전처리, 연속형(실수형) 데이터 전처리
- 전처리 및 탐색적 분석을 위한 시각화, 파생 변수
- 데이터프레임 결합, 표본의 추출
- 다양한 주제를 대상으로한 개발 실습
- 시각화 도구의 분류, barplot, legend, title, dotchart 실습
- pie, boxplot, hist, lines, dnorm, rnorm 실습
- 중첩 자료 시각화(숫자형 컬럼 2개 이상 사용), 산점도
- abline, scatterplot3d, 3차원 챠트, 3차원 산점도 시각화
- 히스토그램, 밀도 그래프, 막대 그래프, 점 그래프 제작 실습
- 산점도 그래프, 데이터 범주화 제작 실습
- 조건 그래프, 3차원 산점도 그래프 제작 실습
- ggplot2 package를 이용한 시각화
|
빅데이터 분석 시스템 개발 |
- 분석 절차와 기본 통계 지식
- 가설(hypothesis) 설정, 유의수준 결정, 측정 도구의 설계
- 척도의 분류, 데이터의 수집, 데이터 코딩
- 통계 분석 수행 원리 분석
- 통계학의 구분, 조사의 방법, 모집단과 표본, 통계적 추정
- 기각역(Critical region)과 채택역(Acceptance region) 파악
- 양측검정과 단측검정, 가설 검정 오류, 검정 통계량 파악
- 정규 분포, 모수와 비모수 검정 분석
- 표준정규분포, 표준화 변수 Z, Z값과 확률 구간, 신뢰구간 파악
- 표본오차, 왜도(Skewness)와 첨도 분석
- 기술 통계(Descriptive Statistics) 분석, 척도별 기술 통계량
- 대표값 산출, 산포도, 변동계수, 빈도분석
- 교차분석과 카이제곱 검정
- 일원 카이제곱 검정(적합도 검정, 선호도 분석)
- 이원카이제곱검정(독립성 검정, 동질성 검정)
- 추정과 검정, 모수와 표본의 구분, 점추정과 신뢰구간 추정의 구분
- 모평균의 구간 추정
- 단일 집단 비율 검정, 단일집단 평균검정(단일표본 T검정)
- 두 집단 비율 검정, 두집단 평균검정((독립표본 T검정)
- 세 집단 비율 검정
- 분산 분석(F 검정, ANOVA: Analysis Of Variance)
- 요인 분석(Factor Analysis)
- 상관관계 분석(Correlation Analysis)
|
빅데이터 플랫폼 테스트 |
- 요구사항을 기반으로 빅데이터 플랫폼 테스트 계획을 수립
- 상세 설계된 빅데이터 플랫폼 세부 시스템의 단위기능에 대하여 기능 테스트 시나리오를 작성
- 요구사항 명세와 아키텍처 설계서를 기반으로 빅데이터 플랫폼의
- 비기능 요소를 식별하고 평가기준을 수립>
- 작성된 빅데이터 플랫폼 테스트 시나리오를 기반으로 동적 테스트를 수행하고 결함여부와 개선의견을 포함하는 테스트 결과서 작성
|
응용 SW / 파이썬 / 머신러닝 |
응용SW 기초기술 활용(JAVA) |
- Software 개론, 자바 언어의 이해, JDK1.8.0 설정
- Eclipse JAVA Application 개발 환경 설정
- 컴파일, 자바 프로그램의 구조
- 데이터 형(data type), 연산자(Operator)
- 제어문의 실습
- OOP 특성, Class, Method, 생성자, Package, 예외처리
- Call By Reference, 메소드로 객체의 전달
- 추상 메소드, 추상 클래스(Abstract Class), 인터페이스(Interface)
- File IO 프로그램 개발
- Network 프로그램의 개발
- JDBC 프로그램의 개발
|
데이터 입출력 구현(Oracle) |
- Oracle XE 11g 개발자 버전 설치, 최소 설치 사양
- SQL Developer 설치
- Sql developer sql 파일 생성, RDBMS 테이블 결합 JOIN ERD 제작
- self join ERD 제작
- DDL(Data Definition Language) 명령어 실습
- Single-Row Function(단일행 함수) 실습
- GROUP BY, HAVING, Group Functions(그룹화 함수), SubQuery
- Transaction, Sequence, Index 관리
- VIEW 제작
- 데이터 사전(Data Dictionary), 제약 조건의 조회, 추가, 삭제
- PL/SQL의 이해, PL/SQL의 종류, PL/SQL의 구조, Script
- Stored Procedure Create & Execution - IN/OUT 매개변수
- Stored Procedure INSERT, SELECT, UPDATE, DELETE의 이용
- Stored Function, Trigger
|
화면 구현(Javascript, jQuery, Bootstrap) |
- Data Type, Variable, Operator(연산자), 제어문
- function(함수), 시스템 지원 전역 함수의 사용, 가변인수
- 객체 지향 프로그래밍
- Event의 처리(INPUT, BUTTON, SUBMIT)
- Ajax(Asynchronous JavaScript and XML), XMLHttpRequest 객체
- JSON(JavaScript Object Notation) 출력의 Ajax 처리
- Javascript framework jQuery 설치
- selector를 이용한 DOM Element(태그)의 검색
- jQuery Ajax 요청의 처리, GET, POST 방식과 한글 처리
- Bootstrap 활용
|
서버 프로그램 구현(JSP, Spring, Spring Boot 2) |
- TOMCAT 8 Install
- JSP 스크립트 기본 문법, JSP 스크립틀릿 코드의 생성 및 실행
- Page 지시자(Directive), class import, request 내부 객체 실습
- response 내부 객체, out 내부 객체, application 내부 객체의 사용
- GET, POST Form Data 전송 방식
- CSS(Cascading Style Sheet)의 사용
- JSP 기반 공지사항의 제작 및 응용
- JSP 기반 회원 관련 제작
- JSP 기반 로그인/로그아웃, Cookie, Session의 활용
- STS(Spring Tool Suite) 설치(권장)
- Data Management(SQL Development) 설정
- servlet원리, servlet을 이용한 폼 데이터의 처리, Servlet 실습
- Spring기반 MVC의 원리, STS Spring MVC의 개발 구조 분석
- Maven 의존성 추가, Local 저장소의 설정, settings.xml
- EL(표현 언어, Expression Language)의 사용
- JSTL(JSP Standard TAG Library)의 사용
- DI(Dependency Injection)의 구현
- MyBATIS 설치 및 사용
- Spring 기반 공지사항의 제작 및 응용
- Spring 기반 자료실의 제작 및 응용
- Spring 기반 회원(관리자) 관련 기능의 제작 및 응용
- Spring boot 2 기반 공지사항의 제작 및 응용
- Spring boot 2 기반 자료실의 제작 및 응용
- Spring boot 2 기반 회원(관리자) 관련 기능의 제작 및 응용
- Filter, Interceptor의 활용
- AOP(Aspect Oriented Programming)의 구현
- Transaction 구현
- AOP + MyBATIS + Oracle기반 선언적 Trancation
|
파이썬 |
- 파이썬 설치와 환경 설정,Anaconda (Python 3) 설치
- Conda를 이용한 Python 3 기반 가상환경 생성
- 내장 데이터 타입, 숫자, 시퀀스, 매핑, set 타입
- 연산자, 제어문의 실습, 함수의 제작 실습
- 모듈과 패키지, datetime 모듈, 상속, import
- 객체지향 프로그래밍, 클래스 제작
- Class 선언, 클래스 멤버, 메소드, 인스턴스 멤버, 메소드의 실습, 생성자, 소멸자, 모듈 분리
- try ~ except를 사용한 예외 처리
- 파일 입출력 처리
- 네트워크 프로그래밍, 네트워크 Server/Client의 제작
- MySQL DBMS 사용하기
- DBMS 응용 Application 제작
- BeautifulSoup 설정
- 웹 크롤러를 활용한 데이터의 수집
- 수집된 데이터의 저장
- 파이썬 라이브러리를 활용한 데이터 분석
- 데이터 시각화 library Matplotlib(맷플롯립)
- 대용량 데이터 연산 package(library) Numpy
- 데이터셋 생성 및 분석 package(library) Pandas
- 데이터 분석 및 스토리 텔링 프로젝트 실습
|
머신러닝 기반 데이터 분석 (R programming / Tensorflow 2) |
- 개발 환경 설정, Anaconda install
- CPU 기반 Conda를 이용한 Python 3 기반 가상환경 생성
- Tensorflow 2 설치
- Jupyter Notebook 커널 연동, 개발 환경 구성
- 머신러닝 개론
- 선형 회귀(Linear Regression), 성적 예측 모델 구현
- 평균 제곱근 오차(RMSE: Root Mean Square Error)
- 정규 분포 난수의 생성, 균등 분포 난수의 생성
- Tensorflow에서의 경사 하강법(gradient decent)
- 다중 선형 회귀(Multiple Linear Regression) 모델
- 로지스틱 회귀(Logistic Regression) 모델의 구현,
- 퍼셉트론(perceptron), 오차 역전파(Back Propagation)
- 기울기 소실 문제와 활성화 함수, 손실 함수
- 수치 예측 모델의 개발
- 이항 분류(Binary Classification) 모델 개발
- 와인의 종류 예측하기(이항 분류(binary classification)), 모델 업데이트 및 저장
- 다중 분류(Multi Classification) 모델 개발
- 아이리스(붓꽃) 품종 예측, 원-핫 인코딩(one-hot-encoding)
- GPU 기반, CUDA, cuDNN, Conda를 이용한 Python 3 가상환경 설정
- 컨볼루션 신경망 레이어 CNN 모델 개발
- 미국 국립 표준 기술원(NIST)의 MNIST 이용 모델 제작
- CIFAR-10, OpenCV를 이용한 이미지 인식 모델 개발
- VGG 학습모델 재사용
- 순환 신경망 레이어 RNN 모델 개발
- 다양한 분야의 예측 모델 주제 선정
- Django Web Application library의 생성 및 설정
- Django application 세부 환경 설정
- DJango와 딥러닝 모델의 연동을 통한 지능형 웹 개발
|
프로젝트 / 빅데이터 플랫폼 요구사항 분석 / 빅데이터 플랫폼 아키텍처 설계 / 빅데이터 품질관리시스템 개발 / 통합 구현 |
- 프로젝트 주제, 주제 결정, 프로젝트 주요 기술 결정
- 프로젝트 주제 개인 역활의 결정, 개발 요소 파악하기
- 개발 요소 등록
- Amateras UML 객체 분석 설계 툴 설치
- 데이터베이스 설계 ERD 툴 설치
- 빅데이터 플랫폼 요구사항 분석
- 요구사항의 파악, 요구 사항 정의(Defining Requirement)
- Usecase Diagram 작성 실습
- 팀 통합 프로젝트 및 개인별 개발 프로젝트의 생성
- 빅데이터 플랫폼 아키텍처 설계
- 빅데이터 품질관리시스템 개발
- DBMS 설계, DBMS 정규화(Normalization)
- AmaterasERD 파일 생성, 모델링(논리적/물리적) 실습
- 테이블 3개이상의 JOIN
- Import, TABLE 구조 생성, SQL 생성
- Local 저장소의 설정
- Maven 설정, Spring 환경 설정
- 화면 Layout, Action TAG를 이용한 Mneu 페이지의 제작
- JSP Template 설정
- 화면구현(User Interface Design, Prototype, Storyboard)
- Prototype 제작 실습
- VO(DTO), XML, DAO, Controller 기초 코드 작업
- 컨텐츠별 CRUD 구현
- Frontend 제작
- 파이썬을 통한 웹 데이터 수집 및 DBMS에 저장
- R Studio에서의 파일 데이터 분석 및 시각화 제작
- 텐서플로 케라스 연동 각종 예측 시스템 개발
- 수집 및 분석된 데이터 Spring 프레임워크로 웹 서비스 구축 및 테스트
- Github 소스 통합 구현
- 프로젝트 통합 및 변경 사항 수정
- 프로젝트 운영 테스트 및 수정
- 프로젝트 문서화 작업 및 발표
|