1) Deep Learning 의 중요한 요소 1. data 2. model 3. loss 4. algorithm(optimizer) 2) Deep Learning 의 굵직한 사건들 Alexnet - 2012 DQN - 2013 Adam - Optimizer - 2014 Generative Adversal Network - 2015 Residual Networks - 2015 깊게 층을 쌓아도 성능이 좋게 나올 수 있게 만들어 준 논문 Transformer - 2017 BERT(fine tuned NLP model) - 2018 BIG Language models - 2019 Self Supervised Learning - 2020
전체 글
1. github 모델 찾기 - 깃헙 고급 검색 - 구글 고급 검색 - 모델 큐레이션 사이트 Browse State-of-the-Art - Papers With Code Papers with Code - Browse the State-of-the-Art in Machine Learning 10797 leaderboards • 4037 tasks • 7874 datasets • 90878 papers with code. paperswithcode.com labml.ai Annotated PyTorch Paper Implementations - labml.ai labml.ai Annotated PyTorch Paper Implementations nn.labml.ai awesome-deeplearning-r..
1)강의 복습 내용 1. PyTorch 개요 https://ltsgod.tistory.com/77 PyTorch 개요 PyTorch PyTorch는 Facebook AI Research Lab에서 개발한 오픈소스 머신러닝 프레임워크로, 주로 딥러닝 모델을 구현하고 학습시키는 데 사용됩니다. 파이썬 기반으로 작성되어 있으며, 넘파이(Numpy)와 유사 ltsgod.tistory.com 2. PyTorch basic https://ltsgod.tistory.com/78 Pytorch basic Tensor 생성 리스트(list) 또는 NumPy 배열(ndarray)로부터 Tensor 생성 ( list도 가능하다) import torch import numpy as np # 리스트로부터 Tensor 생성 li..
Ray Ray는 파이썬 기반의 분산 시스템을 위한 오픈소스 프레임워크로, 머신러닝과 딥러닝 등의 분산 처리를 위한 다양한 기능을 제공합니다. Ray는 분산 컴퓨팅을 구현하기 위한 몇 가지 주요 기능을 제공합니다. Task Parallelism: Ray는 간단한 API를 통해 함수를 분산 실행할 수 있습니다. Ray는 함수를 자동으로 병렬 실행하고 각각의 실행 결과를 모으는 작업을 처리합니다. Actor Model: Ray는 고수준의 Actor 모델을 지원합니다. Actor는 메시지를 수신하고 처리하는 동시성 개체로, 분산 환경에서 병렬 처리를 가능하게 합니다. Ray는 Actor 개체를 생성하고 호출할 수 있는 API를 제공합니다. Distributed Data: Ray는 분산 데이터 처리를 지원합니다...
Transfer Learning Transfer learning(전이학습)은 딥러닝 모델의 학습 방법 중 하나로, 이미 학습된 모델의 일부 또는 전체를 새로운 모델 학습에 사용하는 방법입니다. 일반적으로 딥러닝 모델은 수백만 개의 매개변수를 가지고 있기 때문에, 새로운 데이터셋에서 모델을 처음부터 학습시키는 것은 계산 비용과 시간 면에서 매우 비효율적입니다. 이러한 문제를 해결하기 위해, 전이학습은 이미 학습된 모델의 일부 또는 전체를 새로운 데이터셋에서 학습에 활용하는 방법을 제공합니다. 전이학습은 크게 두 가지 방법으로 구분됩니다. Feature Extraction: 이미 학습된 모델의 일부 층을 가져와서 새로운 모델의 특성 추출기(feature extractor)로 사용하는 방법입니다. 이 방법은 ..
Dataset Dataset 관련 모듈 알아보기 PyTorch에서 데이터를 다루기 위한 몇 가지 모듈을 알아보겠습니다. torch.utils.data: 데이터셋의 표준을 정의하고 데이터셋을 불러오고 자르고 섞는데 쓰는 도구들이 들어있는 모듈입니다. 파이토치 모델을 학습시키기 위한 데이터셋의 표준을 torch.utils.data.Dataset에 정의합니다. Dataset 모듈을 상속하는 파생 클래스는 학습에 필요한 데이터를 로딩해주는 torch.utils.data.DataLoader 인스턴스의 입력으로 사용할 수 있습니다. torchvision.dataset: torch.utils.data.Dataset을 상속하는 이미지 데이터셋의 모음입니다. MNIST나 CIFAR-10과 같은 데이터셋을 제공해줍니다. ..