1.인공지능 – Artificial Intellligence àAI 란?
인공지능 = 인간의 지능을 컴퓨터로 구현하는 것
기계학습(Machine Learning) = 인공지능을 구현하는 모든 기법
딥러닝 = 기계학습을 실현하는 기술
세계에서 유명한 머신러닝 & 딥러닝의 학회
ICML , NIPS , ICLR, KDD
최근 가장 뜨고 있는 인공지능 방법
1. GAN = Generateive Adversarial Network – 가짜 이미지를 만드는 기법
2.RL = Reinforcement Learning – 강화학습 , 컴퓨터가 스스로 학습하게 하는 방법
Bigdata의 정의?
=아직은 명확한 정의가 없다,. 하지만 보통 3V – volume , velocity , variety의 특성을 가진다고 한다
Bigdata의 3가지 필수 요소
이름 |
기능 |
요소의 구성 |
인프라 – Infrastructure |
데이터 수집,처리,관리 |
Volumne , Velocity |
분석 – analysis |
분석기법 (Method) 정의 |
Variety + value |
시각화 – Visualization |
표현기법 |
Value |
모든 bigdata의 목적
=정확한 의사결정
==내가 하고 싶은 말보다 “상대방이 듣고 싶어하는 이야기”를 해야 한다
데이터 분석의 기법 정의
데이터 마이닝 |
-- |
비지도 학습 – unsupervised learning |
Clusterning |
|
-- |
지도학습 – Supervised Learning |
Classfication |
|
|
|
Regression |
지도학습의 3대 모형
선형회귀 |
신경망 |
의사결정 나무 ==해석성은 Good 정확성은 Bad |
**정확성과 해석성은 반비례 체계를 가진다
현대 data분석분야의 상황
1=Regression – 가장 많이 사용한다
2=Python , R – 상황에 따라 다르게 사용하고 있다
***Python , R , SQL 을 사용할중 아는 사람의 몸값이 높다
데이터의 홍수 시대의 문제
전문인력의 부재 |
산학의 인력 MISSMATCH |
기업은 경력자를 찾고 학교는 훈련 시킬 수 있는 DATA가 없다 |
더불어 학생은 눈만 높아진다 |
빅데이터는 거품인가?
=아니다
=한국판 뉴딜정책, 데이터 댐 구축등 정부주고 사업이 많다
=정부중심의 공공데이터 활성화 정책이 나오고 있다
데이터 시대의 분석가의 미래
데이터 3법의 발의로 엄격하면서도 쉽게 사용할 수 있게 되었다 |
빅데이터 분석기사 (국가인증 국가자격) 등장 , 2020,12,19 첫 시행 예정 |
국가 데이터맵 제정 |
데이터 품질관리 중요성의 대두 |
발전방향
=성공한 Project 뿐만 아니라 실패한 사례 역시 중요하게 살펴 보아야 한다
중요 시서점
올바른 모형보다 올바른 데이터 “전처리” 가 중요한 시점이다 |
분석전 “용어”의 정의를 확실히 진행해야 한다 |
단순한 기술통계 분석보다 고도화된 통계적 지식이 중요하다 |
데이터를 바라보는 진지한 능력이 중요하다 |
어떤 도구를 쓰는지는 중요하지 않다 NIA 경시대회에서 오로지 “엑셀”만 할줄 아는 고등학생의 예측분석이 가장 정확했던 것처럼 |
데이터를 “탐정”의 시선으로 범죄 증거물을 보듯 다양하고 심층적으로 봐야한다 |
상대가 원하는 정보를 뽑아 내는 것이 중요하다, |
데이터만 이해하지 말고 설득 시키려는 자세가 중요 |
인문학적 소양을 통해 소통해야 한다 |
빅데이터 시대에 필요한 사람들
현업 담당자 , 데이터 분석가 , 처리 담당자(DBA등) |
아무리 좋은 도구도 현업을 대체할수 없다 |
마이닝은 모든 것을 바꾸는게 아니라 생활에 “조금” 도움을 주는것이다 |
T자형 인재 ,자기 분야를 선택해서 잘하는 분석가가 좋다 |
요점
==협업과 소통이 제일 중요하다
==공짜 점심은 없다, 즉 한번에 여러 개를 잘 할 수는 없다
==하나를 잘하면 다른 하나는 부족해 지는것
댓글 없음:
댓글 쓰기