1. github 모델 찾기 - 깃헙 고급 검색 - 구글 고급 검색 - 모델 큐레이션 사이트 Browse State-of-the-Art - Papers With Code Papers with Code - Browse the State-of-the-Art in Machine Learning 10797 leaderboards • 4037 tasks • 7874 datasets • 90878 papers with code. paperswithcode.com labml.ai Annotated PyTorch Paper Implementations - labml.ai labml.ai Annotated PyTorch Paper Implementations nn.labml.ai awesome-deeplearning-r..
AI/Pytorch
Ray Ray는 파이썬 기반의 분산 시스템을 위한 오픈소스 프레임워크로, 머신러닝과 딥러닝 등의 분산 처리를 위한 다양한 기능을 제공합니다. Ray는 분산 컴퓨팅을 구현하기 위한 몇 가지 주요 기능을 제공합니다. Task Parallelism: Ray는 간단한 API를 통해 함수를 분산 실행할 수 있습니다. Ray는 함수를 자동으로 병렬 실행하고 각각의 실행 결과를 모으는 작업을 처리합니다. Actor Model: Ray는 고수준의 Actor 모델을 지원합니다. Actor는 메시지를 수신하고 처리하는 동시성 개체로, 분산 환경에서 병렬 처리를 가능하게 합니다. Ray는 Actor 개체를 생성하고 호출할 수 있는 API를 제공합니다. Distributed Data: Ray는 분산 데이터 처리를 지원합니다...
Transfer Learning Transfer learning(전이학습)은 딥러닝 모델의 학습 방법 중 하나로, 이미 학습된 모델의 일부 또는 전체를 새로운 모델 학습에 사용하는 방법입니다. 일반적으로 딥러닝 모델은 수백만 개의 매개변수를 가지고 있기 때문에, 새로운 데이터셋에서 모델을 처음부터 학습시키는 것은 계산 비용과 시간 면에서 매우 비효율적입니다. 이러한 문제를 해결하기 위해, 전이학습은 이미 학습된 모델의 일부 또는 전체를 새로운 데이터셋에서 학습에 활용하는 방법을 제공합니다. 전이학습은 크게 두 가지 방법으로 구분됩니다. Feature Extraction: 이미 학습된 모델의 일부 층을 가져와서 새로운 모델의 특성 추출기(feature extractor)로 사용하는 방법입니다. 이 방법은 ..
Dataset Dataset 관련 모듈 알아보기 PyTorch에서 데이터를 다루기 위한 몇 가지 모듈을 알아보겠습니다. torch.utils.data: 데이터셋의 표준을 정의하고 데이터셋을 불러오고 자르고 섞는데 쓰는 도구들이 들어있는 모듈입니다. 파이토치 모델을 학습시키기 위한 데이터셋의 표준을 torch.utils.data.Dataset에 정의합니다. Dataset 모듈을 상속하는 파생 클래스는 학습에 필요한 데이터를 로딩해주는 torch.utils.data.DataLoader 인스턴스의 입력으로 사용할 수 있습니다. torchvision.dataset: torch.utils.data.Dataset을 상속하는 이미지 데이터셋의 모음입니다. MNIST나 CIFAR-10과 같은 데이터셋을 제공해줍니다. ..
hook PyTorch에서 hook은 nn.Module 클래스의 메소드 중 하나로, 모델의 특정 레이어에 훅(hook)을 등록하여 해당 레이어의 입력, 출력, 혹은 중간값을 추적할 수 있도록 합니다. hook은 register_forward_hook 메소드와 register_backward_hook 메소드를 사용하여 등록할 수 있습니다. register_forward_hook 메소드는 해당 레이어의 순전파(forward) 연산이 실행되기 전에 호출되는 함수를 등록합니다. 반면, register_backward_hook 메소드는 해당 레이어의 역전파(backward) 연산이 실행되기 전에 호출되는 함수를 등록합니다. hook 함수는 다음과 같은 인자를 가질 수 있습니다. module: 훅이 등록된 nn.M..
만든 모델의 내부 module 목록을 보고 싶을 때 model.named_children #한 단계 아래 모듈만 보여줌 model.named_modules #전체 하위 module을 보여줌 만약 module만 필요하다면?? model.modules() model.children() 위 함수는 module만 가져온다. 특정 모듈만 가져오고 싶다면?? model.get_submodule(이름) 바로 밑에 단의 모듈들을 검색 할 수 있기 때문에 더 밑에 있는 모듈을 가져오려면 . 으로 연결 시켜서 가져와야한다. 특정 파라미터도 볼 수 있지 않을까?? model.named_parameters() 이것 또한 이름 없이 parameter만 가져올 수 있지만 그러면 어떤 파라미터에 속해있는지 알수없기 때문에 보통 쓰..
Module, model, layer, function module: PyTorch에서 제공하는 기본적인 구성 요소로서, 모델의 각 구성 요소를 캡슐화하는 클래스입니다. nn.Module 클래스를 상속하여 사용되며, 레이어와 함수 등을 포함할 수 있습니다. model: 모델은 레이어와 함수 등을 조합하여 구성된 전체 딥러닝 모델을 나타냅니다. 모델은 PyTorch의 nn.Module 클래스를 상속받아 정의되며, 레이어와 함수 등을 조합하여 전체 모델을 구성합니다. layer: 레이어는 모델을 구성하는 기본 구성 요소입니다. 레이어는 입력 데이터를 받아들이고 출력 데이터를 생성하는 함수를 나타내며, PyTorch에서 제공하는 nn.Module을 상속하여 정의됩니다. function: 함수는 레이어와 유사하..
torch.linalg torch.linalg 모듈은 선형 대수(Linear Algebra)와 관련된 다양한 함수를 제공하는 PyTorch의 서브모듈입니다. 이 모듈은 CPU와 GPU에서 실행될 수 있는 고성능의 BLAS 및 LAPACK 라이브러리에 의존합니다. 주요 기능은 다음과 같습니다. torch.linalg.norm: 텐서의 노름을 계산합니다. torch.linalg.matrix_power: 주어진 행렬의 거듭제곱을 계산합니다. torch.linalg.eig: 정방행렬(e.g., covariance matrix)의 고유값과 고유벡터를 계산합니다. torch.linalg.svd: 특이값 분해(Singular Value Decomposition, SVD)를 계산합니다. torch.linalg.chol..
PyTorch의 Document https://pytorch.org/docs/stable/index.html PyTorch documentation — PyTorch 1.13 documentation Shortcuts pytorch.org PyTorch의 여러 기능 함수들에 대해 볼 수 있다. Torch 목차의 순서대로 3가지씩 함수를 뽑아 정리하였습니다 Random sampling randn PyTorch의 torch.randn() 함수는 정규 분포(가우시안 분포)에서 난수를 생성하는 함수입니다. 함수는 입력된 shape에 따라 주어진 차원을 가진 텐서를 반환합니다. torch.randn(*size, out=None, dtype=None, layout=torch.strided, device=None, ..
Tensor 생성 리스트(list) 또는 NumPy 배열(ndarray)로부터 Tensor 생성 ( list도 가능하다) import torch import numpy as np # 리스트로부터 Tensor 생성 list_data = [1, 2, 3] tensor_data = torch.tensor(list_data) # NumPy 배열로부터 Tensor 생성 ndarray_data = np.array([[1, 2], [3, 4]]) tensor_data = torch.tensor(ndarray_data) Tensor Operation 기본적으로 numpy 연산과 같다. data = [[3,5,20],[10,5,50],[1,5,10]] x_data = torch.tensor(data) x_data[1:,..
PyTorch PyTorch는 Facebook AI Research Lab에서 개발한 오픈소스 머신러닝 프레임워크로, 주로 딥러닝 모델을 구현하고 학습시키는 데 사용됩니다. 파이썬 기반으로 작성되어 있으며, 넘파이(Numpy)와 유사한 API를 제공하므로 사용자 친화적인 프로그래밍 경험을 제공합니다. PyTorch는 다양한 딥러닝 모델의 구현을 지원합니다. 강화학습, 이미지 처리, 음성 처리, 자연어 처리 등 다양한 분야에서 사용됩니다. 또한, 넓은 커뮤니티와 활발한 개발로 인해 지속적인 업데이트와 개선이 이루어지고 있습니다. PyTorch의 핵심 기능으로는 다음과 같은 것이 있습니다. Tensor 연산: 다차원 배열 연산을 지원하며, GPU 연산을 포함한 다양한 하드웨어 환경에서 최적화된 연산을 제공합..
