Day_05. 목적함수의 정의 & 기계학습이 하는일

목적함수란?
=목표치를 출력해주는 함수
=평균제곱오차(MSE , Mean Squard Error)모형에서 예상한값- 실측값=잔차, 즉 잔차 제곱의 평균
=기울기와 절편이 하나 있는경우

기계학습이 하는일
=예측-실측값이 가장 작아지는 상황을 찾는 것


Ex) 수식의 그래프를 보면과 같이 그려지기 때문에 min f(x)=1 이기 때문에 이에 맞는 데이터 선별이 중요

기계학습의 목표

=낮은 bias 값과 분산을 가지는 예측기의 제작

 

바이어스 vs 분산 상대도표

검증 집합과 교차 검증을 이용한 모델 선택 알고리즘
=기존 Training set : test set = 7:3 비율
=training set : validation : test set = 검증집합을 추가
=hyper parameter가 등장하는 시점


교차검증 ( cross validation
=비용문제로 별도의 검증집합이 없는 상황에서 사용한다
=훈련집합을 등분해서 학습과 평가 과정을 여러 번 반복후 평균을 사용하는 것

0

1

2

3

4

5

6

=i번째 그룹을 제외한 것을 학습하고 i번째 그룹으로 검증하는 방식
=0번째에는 0번 그룹을 제외한 모든 1~6까지로 학습후 학습이 마무리 된후 0번째로 검증하는 방식


현대 기계학습의 전략
=용량이 큰 모델을 선택하고 선택한 모델이 정상을 벗어나지 않도록 여러가지 규제(regulation)을 적용한 기법을 사용하낟
=다양한 모델의 성능 검증에서 벌칙까지 더해서 에러율을 판단한다


규제(regulation)
정의=높은 일반화 능력(모형의 제작에서 다른 data set에 대한 성능이 좋은 것)을 확보하기 위한 방법은 용량이 큰 모델에 규제를 적용하는 것


데이터 확대
=데이터를 더 많이 수집하면 일반화 능력이 좋아진다


데이터는 어떻게 수집할까?
=데이터 수집은 소요 비용이 큰 작업이다, (사람이 data에 대한 labeling 이 들어가기 때문)
=인위적 데이터 확대 – 샘플을 변형, 데이터를 뒤집거나 회전(와핑,warping) 기법을 사용



가중치의 감쇠(weight decay)
=곡선의 굴곡이 매우 심하다
==극점에서 곡률(curvature)이 크다
=식의계수(기울기) 죽이는 방법
=기울기가 줄어드는 효과

벡터의 크기 계산하기


2차 함수에서의 기울기 특징
y값이 바뀌는 흔들림이 적어진다

기계학습의 유형

데이터 마이닝	Supervised learning	Classification	특징백터x	기계학습의 호칭=learning
	X(설명변수)에 대한 y(반응변수)가 있다	Regression	목적함수 y	통계에서는 추정(estimation
	Unsupervised learning	Clustering

강화학습
=목표값 (y)가 주어지나 목표의 형태가 지도학습과는 다른 형태로 주어진다
=바둑이나 장기에서 마지막에 이기면 1, 지면 0이 되게 하는 방식, 이때 1수를 set으로 두고 각 셈플열에 가중치를 주는 방식으로 설계
=알파고는 지도학습+ 강화학습을 동시에 사용해서 만들어냄

준-지도학습
=일부는 xy를 가지나, 나머지는 x값(독립변수)만 가지는 것
=일부만 table이 있음
=인터넷의 발달로 x값을 모으기는 쉬우나 y값(종속변수)은 수작업이 필요하다
=데이터의 분포로 판단을 지어주는 구분선을 만드는 것


결정론적 학습(determistic)
=동일데이터로 다시 학습하면 같은 예측기가 되는 현상
=대부분의 학습 알고리즘은 결정론적이다


Stochastic 학습
=결정론적 학습의 보완으로 난수를 더해주는 것
=데이터에 변화를 주는 것


분별모델 (discriminative model)
분류예측에 집중, 즉 p(y|x)의 추정에 목적을 둔다


생성모델 (Generation model) – p(x) 또는 p(x|y) 추정
=새로운 샘플을 “생성” 가능
=GAN, RBM 등이 있음


AI-인공지능-인간의 지능을 컴퓨터로 구현한다
Machine learning – 인공지능을 구현하기 위한 컴퓨터의 학습방법
Deep learning – Machine learning 을 실현하는 기술의 종류