Day_08. 신경망 분석(Neural Network)

데이터의 종류
=범주형(이산형)자료-0,1등으로 나뉨
=연속형(수치형)자료=continuous)


Regression VS Logistic Regression
=Regression – y가 연속형
=Logistic – y가 0,1등의 범주형(연봉과 결혼 유무의 상관관계등에서 연봉이x, 결혼 유무가 0,1)


y가 연속,범주형 모두 적용가능
= Neural Network
= Decision Tree


신경망 모형 개요
=인간의 두뇌구조를 모방
=여러 개의 뉴턴 입력에 상응하는 결과가 나옴
==장점-정확도가 좋다
==단점-해석이 어렵다, Hidden Layer가 여러 개 있어서 부하가 있다

활성화 함수(activation function)
=생물학적 뉴런의 경우에는 마치 전구를 끄고 켜듯(0,1 상태) 어떤 조건이 되면 특정 뉴런이 활성화 된다


가장 많이 사용되는 활성화 함수
=sigmoid
=hyperbolic tangent


간단한 함수
=Linear(Identity)
=Threshold(step function)
=Gaussian
=Relu function



신경망 모형의 해석이 어려운 이유

=sigmoid 형태처럼 증가값 대비 y값의 변량이 크지않아서 해석이 어렵다
=함수에 붙어있는 요소가 많다



로지스틱 함수

=기계학습에서는 sigmoid 사용
=sigmoid 함수 특징 –결과가 0과 1 사이를 가진다

=hyperbolic tangent 함수는 -1과 1사이의 값에서 움직임

=0이하의 x값이 입력되면 결과값이 모두 0이 출력된다



출력층의 특징
=regression
==출력은 항등함수,identity function
=classification
==sofrmax function = y가 n개의 구분을 가질 때
==logistic function = y가 0,1일 때


함수의 기울기(weight)값의 변경을 막기 위한 방식
=Feed forward neural network
=Back propagation learning



역전파(back propagation) example
=예제 사진 첨부
=수업자료 68page backpropagation 참조

용어정리
==1 epoch –진행하는 횟수
==batch 1번에 학습하는 data의 개수


모형구축과정
=하나의 data에 대해 one pass = one forward pass + one backward pass 진행 –weight가 변경된다(w0->w1)
=2번째 data에 w1을 적용해서 w1이 w2가 된다
=마지막까지 반복해 wn을 생성하고 1epoch 가 종료된다
=각 w0~wn까지의 에러가 산정되고 이를 평균내서 에러를 산정한다
=순차적으로 하지않고 임의의 순서로 뽑아서 진행하기도 한다(순서의 영향을 벗어가는 방법)
=이떄 batch의 크기에 따라 한번에 적용하는 w의 값이 다르다, batch가 2면 2개씩 묶어서 w를 적용 w0, w1이 생기면 이를 평균내어 1개로 만든다


Epoch 의 핵심
=시작은 hidden node 없게 진행
=한번에 1개의 node만 추가
=error가 test set에 대해 많이 감소하면 멈춘다
=입력변수를 표준화 시킨다음에 함수를 적용한다


표준화를 진행해야 하는 이유
=함수마다 특징이 있기 때문
=활성화 함수마나 x에 대한 y의 변화가 다르다—sigmoid 함수의 경우 극한값에 대해 변화가 거의 없기때문

신경망 모형의 장단점 최종 정리
=장점
===좋은 예측 성과
===많은 데이터에도 안정적
===예측 변수와 반응변수간의 관계가 복잡해도 파악 가능

=단점
===블랙박스와 같은 모형의 구조를 설명하지 못함
===신경망은 변수선정 메커니즘을 자체적으로 가지고 있지 않음
===높은 유연성은 학습과정에서 많은 데이터를 가지고 있을 때 가능함
===학습 시간의 적절성이 중요함, 상대적으로 부하가 크기 때문에 학습 시간을 정하고 투입해야한다

===전역 최적점이 아닌 지역 최적점에 빠질 위험이 존재한다