Day_06. 기계학습에서 수학의 역할

기계학습에서 수학이 중요한 이유
=기계학습의 근간은 수학이기 때문이다


기계학습에서 최적화 이론
=목적함수를 최적화하는 최적해를 찾는데 활용하며 주로 미분을 활용한 방안을 사용한다, 개발된 이론의 적용을 통한 개선이 반복된다


정보이론 (information theory)
=메시지가 가진 정보를 수량화 할수 있는가?
=”고비사막에 눈이 왔다” 와 “대관령에 눈이 왔다”는 메시지중 어느것이 많은 정보를 가지는가
=정보이론의 기본원칙à “확률이 작을수록 많은 정보를 가진다”


자기정보-self information
=확률변수 x의 정의역(사건이 일어날 가능성이 있는 영역) ex)주사위에서는 1~6까지
=사전(메시지) ei의 정보량 단위
==비트(밑이 2인 log ), 나츠(밑이 e인 log),
==확률이 1/2 일때 1비트의 정보를 가진다
=
=확률변수 x의 자기 정보량

엔트로피 – entity

=자기정보가 특정사건의 자기 정보를 나타내는 대신 모든사건 x에 대한 평균



Ex)주사위 던지기

눈(x)변수	1	2	3	4	5	6
P(x)확률	1/6	1/6	1/6	1/6	1/6	1/6

변수,정의역,확률변수(변수는 변수인데 각각의 확률값을 가지는 변수)




최적화 – optimization
=최저점을 만드는 x값을 찾는 것
=기계학습이 최적화되는 목적함수와 최저점을 찾는 것
=에러를 가장 작게만드는 것 찾기
=y=bx+a 에서 bias와 weight를 찾는 것


최적해 찾는방법
=최초 임의의 값에서 천천히 증가시킨다, 이때 오류가 가장 적은 것을 찾는 것


미분=순간 속도, 1차 도함수, f(x)를 1번 미분한 것, 함수의 변화율을 알려 주는것

===그래프 상에서 최저점을 찾는다


그래프(2차함수)가 가장 작아지는쪽을 찾는 것
=분석적방법 – 차원이 작을 때 바로 미분해서 찾는다
=수치적방법 – 차원이 높고 바로 미분이 안될 때 점진적 탐색, 기계학습에서 사용


편미분
=변수가 여러 개 있음, 변수 각각에 대해 독립적으로 미분
=편미분의 결과는 벡터가 되고 이 미분값 이후는 벡터를 그라디언트(gradient)라고 한다


연쇄법칙(chain rule)
=합성함수 f(x)=g(h(x)) 등의 미분
=안쪽부터 미분한다


아코디언 행렬
=d차원 벡터를 입력받아 n차워으로 바꿔준다
=여러 개의 함수를 모두 미분한다


해시인 행렬
=f를 두번 미분한 것
=대칭이 된다
=함수는 1개 변수는 여러 개



경사하강 알고리즘 =gradient descent algorithm

스토캐스틱 경사하강법
=하나의 sample 에 대해 그래디언트 산정(편미분)을 실시하고 즉시 변수를 갱신
=모든 sample 이 검사가 완료되면 1세대에 epoch 한다
=시간이 많이 든다


일반화 선형 모형

설명변수x / 반응변수y	연속형	범주형
연속형	선형회귀	로지스틱
범주형	분산분석(anova)	분할표분석
연속 + 범주	공분산, 선형회귀	로지스틱

신경망 = 정확성(높) 해석성(낮)
의사결정트리 = 정확성(낮) 해석성(높)
단순선형회귀 = 설명변수(x)가 1개밖에없음