Factbook - Deep Learning / Machine Learning / AI

개요

2017.05 - 4차 산업혁명의 미래 - 인공지능

• 스탠퍼드대 교수 방문시 강연 내용 요약본
• AI가 우리 미래를 긍정적으로 바꿀 것
• “없어지는 일자리만큼 새로운 일자리들도 많이 생겨날 것”
• 요약본 : http://chsoong.tistory.com/26 

머신러닝

• 데이터에서 추세를 파악하거나 데이터가 속한 범주를 인식해서 
  • 소프트웨어에 새로운 데이터가 제시될 때
  • 적절한 예측을 할 수 있도록 하는 것
• “코딩에 의한 프로그램이 아니라 ‘입력-출력 예제의 의한 프로그래밍’”
• 데이터를 기반으로 학습을 시켜서 결과를 예측하게 만드는 기법
• 로보틱스 등에 응용가능한 실시간성

신경망(neural network) - 여러 머신러닝 기술중 하나

• 뇌의 신경 세포 작용을 느슨하게 본 딴 머신 러닝의 한 유형
• 그러나 “실제 유사성은 극히 미미하다”
• 신경망의 종류 : 일반적으로 상호 가중 연결된 노드 시스템으로 구성
  • 노드 또는 “신경 세포”은 입력계층, 출력계층, 학습이 이루어지는 다수의 숨겨진 계층으로 배열됨
  • 신경망은 상호 연결의 가중치를 업데이트함으로써 학습한다.

딥러닝 - 깊은 신경망 (실시간?? )

• 여러 개의 숨겨진 계층에 배열된 대규모 신경 시스템을 포함하는 형태
• cf. “얕은” 신경망에는 일반적으로 숨겨진 계층이 1~2개만 존재

 

• 입력(Input)과 출력(Output)이 있는 기존의 데이터를 분석해 특성과 규칙, 즉 패턴을 발견하고 이를 통한 학습 모델을 구축하는 방식. 
• 구축한 모델(알고리즘)을 기반으로 새로운 데이터를 예측하고 추론
• 과거: 사람이 직접 데이터를 비교하고 숨겨진 패턴을 찾던 것에 비해 정확성과 효율성이 향상.

언어별 딥 러닝 라이브러리 : 

• 프로그래밍 언어별 딥러닝 라이브러리 정리
  • C++기반 Caffe - Berkeley 대학에서 관리하고 있고, 현재 가장 많은 사람들이(추정) 사용하고 있는 라이브러리. C++로 직접 사용할 수도 있지만 Python과 Matlab 인터페이스도 잘 구현되어 있다.
  • Python 기반 Keras - Theano 기반이지만 Torch처럼 모듈화가 잘 되어 있어서 사용하기 쉽고 최근에도 계속 업데이트되며 빠른 속도로 발전하고 있는 라이브러리.
• 오픈 소스 딥러닝 소프트웨어
  • 구글 텐서플로우 - Google Tensorflow
    • 텐서플로우 시작하기 : Operation, Tensor, Session, Variables
    • 텐서플로우 한글 번역본
  • 텐서 플로우 블로그
    • 텐서플로우 래퍼 라이브러리 - 소네트 (Sonnet) 오픈소스 by 딥마인드 
    • 머신 러닝의 모델 평가와 모델 선택, 알고리즘 선택 – 1장. 기초

머신러닝 모델의 성능 추정

1. 모델을 학습시키기 위해 알고리즘에 훈련 데이터를 주입
2. 테스트 레이블의 값을 예측
3. 테스트 데이터셋에서 잘 못 예측한 수를 카운트해서 모델의 예측 정확도를 계산

전형적으로 머신 러닝은 많은 실험을 해야 합니다.

예를 들면 알고리즘 내부 설정인 하이퍼파라미터hyperparameter를 튜닝하는 일

훈련데이터 예제 - http://www.image-net.org

 

심층 신경망(Deep Neural Network, DNN)

심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다

합성곱 신경망(Convolutional Neural Network, CNN)

합성곱 신경망(Convolutional Neural Network, CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류

순환 신경망(Recurrent Neural Network, RNN)

순환 신경망은 인공신경망을 구성하는 유닛 사이의 연결이 Directed cycle을 구성하는 신경망

딥 러닝 방식의 성공 요인 4가지

1. 비지도 학습방법 - 자동 군집화, 노이즈 감소,
   1. Deep Belief Network, Deep Auto-encoder
      
2. 테이터 --> 특징(Feature Map) --> 지식
   1. 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) : : 
3. 시계열 데이터 - 시간의 흐름에 따라 변하는 데이터
   1. RNN (리커런트 뉴럴 네트워크, Recurrent Neural Network)
   2. 게이트 유닛들 LSTM Long-Short Term Memor
4. GPU 방식 병렬 컴퓨팅

쫄지말자딥러닝2 - CNN RNN 포함버전

딥러닝 소개 - eBook