Day_10. DMLP

Deep Learning
=다중 퍼셉트론에 은닉층을 여러 개 추가한 형태
=딥러닝은 깊은 신경망을 학습시키는 알고리즘


Deep Learning 의 등장 근거와 특징
=1.고려해야할 변수가 많다
=2.컴퓨팅 비용이 저렴해진다
=3.깊이가 깊어진다
=4.계산은 단순하나 성능이 좋아진다

Deep Learning의 걸림돌

Gradient Vanishing	Sigmoid, Hyperbolic tangent 함수의 문제 =지속적으로 미분하면 0에 수렴하는 문제 ==Relu 함수의 등장 근거가 된다
Overfitting	훈련데이터에 따라 과적합 상황이 발생할수 있다
Local minimum	그래프 상에서 확인 가능한 부분으로 일시적 최소값이나 전체의 최소값으로 확인해버리는 문제를 의미한다

활성화함수 종류와 특징

계단함수(step function)

로지스틱 시그모이드

하이퍼볼릭 탄젠트

Relu =음수를 모두 0으로 만드는 특징으로 leaky lelu 등이 개발되었다

특징학습의 부각(feature learning)

고전적 패러다임	변수를 선택한다 학습을 진행한다
딥러닝의 패러다임	End to end learning =통째로 데이터를 넣으면 자동으로 학습한다

특징학습(feature learning)
=여러단계의 은닉층이 자동으로 생성된다
=앞 단계의 은닉층은 엣지, 코너 같은 저급 특징을 추출한다(low level feature)
=뒷 단계의 은닉층은 추상적 형태의 고급 특징을 추출(high level feature)
===기존 보다 획기적 성능의 향상이 가능하다
=새로운 응용의 등장 – gen

Deep Multi Layer Perceptron

특징	=MLP에 Hidden layer를 추가한 형태
Hidden Layer의 수	L-1
표기법	입력층은 0번째, 출력층은 L번째 은닉층으로 간주한다,L번째 은닉층의 노드수를 표기시
노드간 가중치(weight)표기	L-1번째 층의 i번째 노드와 l번째 층의 j번째 노드를 연결하는 가중치
노드간 가중치(weight) 개수	L-1번째 층과 L번째 층을 이어주는 가중치 개수 산정

DMLP의 학습방법
=MLP와 흡사
==DMLP는 그래디언트 계산과 가중치 갱신을 더 많은 단계에 걸쳐 수행하는 차이
=DMLP는 그래디언트 연산 + 가중치 연산으로 이루어진다


DMLP vs CNN
=CNN이 부상한 것은 확실
=CNN이 DMLP보다 확연하게 우월하다
==하지만 DMLP가 CNN보다 우수할 수밖에 없다는 “과학적 근거” 는 없다
==CNN의 매개변수가 훨씬 적어서 CNN이 더 쉽다는 설명만 가능할 뿐
==Deep Learning은 설명이 안되는 특징을 가지므로 정확성만 알 수 있다