Neural Network & MLP(Multi Layer Perceptron)

2023. 3. 20. 22:04· AI/Deep Learning
목차
  1. 1) Neural Network
  2. MLP(Multi Layer Perceptron)

1) Neural Network

  행렬을 곱하는 변환을 하며 활성화함수를 씌워 비선형 변환을 하며 함수에 근사하는 모델

 

함수??

  이미지를 분류하고자 하면 그거 자체를 함수로 볼 수 있다.

 

가장 간단한 예

-> Linear Regression

 

여기서 이 모델의 식은 y = wx +b 로 정의된다.

 

이때 가장 근사한 w와 b를 찾으면 되는 문제이다.

 

Loss 는 MSE 를 사용하였다.

 

 

loss 가 최소가 되는 값을 구해야한다. 이 때 미분을 이용한다.

 

loss에 대한 미분 값을 구해 Learning Rate에 곱해 Update를 시켜주며 근사한 w와 b를 찾을 수 있다.

 

 

만약 층을 깊게 쌓고 싶다면???

이렇게 weight를 2번 곱하기 만 하면 의미가 없다. 한 번 곱한것이랑 차이가 없기 때문이다. 

따라서 아래그림처럼 활성화함수를 적용시켜 비선형적으로 만든다. 이는 표현력을 극대화할 수 있다.

 

MLP(Multi Layer Perceptron)

  입력이 있을 때 affine transformations를 통해 히든 벡터가 나오고 hidden layer에서 다시 affine transformations 1단짜리 hidden layer가 있는 network를 보통 MLP라 부른다. hidden layer를 깊게 쌓을 수도 있다.

'AI > Deep Learning' 카테고리의 다른 글

Generative Model (Autoregressive model)  (0) 2023.03.24
Optimizer  (0) 2023.03.24
Transformer  (0) 2023.03.23
RNN(Recurrent Neural Networks)  (0) 2023.03.22
0. Deep Learning 개요  (0) 2023.03.20
  1. 1) Neural Network
  2. MLP(Multi Layer Perceptron)
'AI/Deep Learning' 카테고리의 다른 글
  • Optimizer
  • Transformer
  • RNN(Recurrent Neural Networks)
  • 0. Deep Learning 개요
LTSGOD
LTSGOD
LTSGOD
TS's log
LTSGOD
전체
오늘
어제
  • 분류 전체보기 (138)
    • 언어 공부 (18)
      • C++ (6)
      • Python (12)
    • AI (39)
      • Numpy (2)
      • Pandas (5)
      • Pytorch (11)
      • Deep Learning (9)
      • CV (11)
      • 과제에서 얻은 것 (1)
    • 수학 (17)
      • 확률론 (8)
      • AI Math (9)
    • Spring (24)
      • 스프링입문 (8)
      • 스프링 원리 - 기본편 (5)
      • 스프링부트와 AWS로 혼자구현하는 웹 서비스 (10)
      • JPA (1)
      • spring MVC (0)
    • CS 기본 (25)
      • 네트워크 (5)
      • OS (4)
      • 자료구조 (9)
      • DB (7)
    • Git (2)
    • 백준 (1)
    • 활동 (8)
      • 2023 겨울 (1)
      • 네이버 부스트캠프 AI Tech (7)
    • HTML,CSS (2)
    • 도커 (1)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

공지사항

인기 글

태그

  • 붓캠
  • 백준
  • 부스트캠프
  • AI Tech 5기
  • AWS
  • pytorch
  • 후기
  • 회고
  • BOOSTCAMP
  • Camper
  • 5기
  • AI

최근 댓글

최근 글

hELLO · Designed By 정상우.v4.2.1
LTSGOD
Neural Network & MLP(Multi Layer Perceptron)
상단으로

티스토리툴바

개인정보

  • 티스토리 홈
  • 포럼
  • 로그인

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.