1)강의 복습 내용
1. PyTorch 개요
PyTorch 개요
PyTorch PyTorch는 Facebook AI Research Lab에서 개발한 오픈소스 머신러닝 프레임워크로, 주로 딥러닝 모델을 구현하고 학습시키는 데 사용됩니다. 파이썬 기반으로 작성되어 있으며, 넘파이(Numpy)와 유사
ltsgod.tistory.com
2. PyTorch basic
Pytorch basic
Tensor 생성 리스트(list) 또는 NumPy 배열(ndarray)로부터 Tensor 생성 ( list도 가능하다) import torch import numpy as np # 리스트로부터 Tensor 생성 list_data = [1, 2, 3] tensor_data = torch.tensor(list_data) # NumPy 배열로부터
ltsgod.tistory.com
3. PyTorch Project Template
https://github.com/victoresque/pytorch-template
GitHub - victoresque/pytorch-template: PyTorch deep learning projects made easy.
PyTorch deep learning projects made easy. Contribute to victoresque/pytorch-template development by creating an account on GitHub.
github.com
4. PyTorch의 Autograd
5. PyTorch datasets, dataloader
Dataset, Dataloader
Dataset Dataset 관련 모듈 알아보기 PyTorch에서 데이터를 다루기 위한 몇 가지 모듈을 알아보겠습니다. torch.utils.data: 데이터셋의 표준을 정의하고 데이터셋을 불러오고 자르고 섞는데 쓰는 도구들이
ltsgod.tistory.com
6. Transfer learning
Transfer learning
Transfer Learning Transfer learning(전이학습)은 딥러닝 모델의 학습 방법 중 하나로, 이미 학습된 모델의 일부 또는 전체를 새로운 모델 학습에 사용하는 방법입니다. 일반적으로 딥러닝 모델은 수백만
ltsgod.tistory.com
7. Monitoring Tools for PyTorch
1) Tensorboard
2) Weight & biases
2) 과제 수행 과정 / 결과물 정리
1. PyTorch Document
PyTorch Document 1
PyTorch의 Document https://pytorch.org/docs/stable/index.html PyTorch documentation — PyTorch 1.13 documentation Shortcuts pytorch.org PyTorch의 여러 기능 함수들에 대해 볼 수 있다. Torch 목차의 순서대로 3가지씩 함수를 뽑아
ltsgod.tistory.com
PyTorch Document 2
torch.linalg torch.linalg 모듈은 선형 대수(Linear Algebra)와 관련된 다양한 함수를 제공하는 PyTorch의 서브모듈입니다. 이 모듈은 CPU와 GPU에서 실행될 수 있는 고성능의 BLAS 및 LAPACK 라이브러리에 의존합
ltsgod.tistory.com
2. Custom Modeling, nn.Module
Custom Model, Conatiner, Module
Module, model, layer, function module: PyTorch에서 제공하는 기본적인 구성 요소로서, 모델의 각 구성 요소를 캡슐화하는 클래스입니다. nn.Module 클래스를 상속하여 사용되며, 레이어와 함수 등을 포함할
ltsgod.tistory.com
nn.Module의 hook 과 apply
hook PyTorch에서 hook은 nn.Module 클래스의 메소드 중 하나로, 모델의 특정 레이어에 훅(hook)을 등록하여 해당 레이어의 입력, 출력, 혹은 중간값을 추적할 수 있도록 합니다. hook은 register_forward_hook 메
ltsgod.tistory.com
모듈 분석,Docstring,repr
만든 모델의 내부 module 목록을 보고 싶을 때 model.named_children #한 단계 아래 모듈만 보여줌 model.named_modules #전체 하위 module을 보여줌 만약 module만 필요하다면?? model.modules() model.children() 위 함수는
ltsgod.tistory.com
3. HyperParameter Tuning
HyperParameter Tuning, Ray - tune 라이브러리
Ray Ray는 파이썬 기반의 분산 시스템을 위한 오픈소스 프레임워크로, 머신러닝과 딥러닝 등의 분산 처리를 위한 다양한 기능을 제공합니다. Ray는 분산 컴퓨팅을 구현하기 위한 몇 가지 주요 기능
ltsgod.tistory.com
4. 다른 Custom Model 을 Github에서 사용하는 방법
Github 모델 찾고 사용하는 방법
1. github 모델 찾기 - 깃헙 고급 검색 - 구글 고급 검색 - 모델 큐레이션 사이트 Browse State-of-the-Art - Papers With Code Papers with Code - Browse the State-of-the-Art in Machine Learning 10797 leaderboards • 4037 tasks • 7874 d
ltsgod.tistory.com
3) 피어세션 정리
과제의 양이 상당했고 난이도 또한 있었던 지라 피어세션 시간에 과제에 대한 이야기를 많이 했다. 서로 과제를 하며 모르는 사람이 질문을 하면 아는 것을 답변해주고 하는 과정에서 문제를 해결해 나갈 수 있었던 것 같다.
pytorch 문서를 읽는 것부터 모델 커스터마이징, 데이터셋 데이터로더, 학습 과정 확인 등 많은 것을 했었기에 내용을 한 번에 다 집어넣기에는 무리가 있었다. 그래서 블로그에 기록해보려고 노력했지만 아직도 내용측면에서 약간은 부실한 면이 있는 것 같다. 좀 더 체계적으로 정리하고 기록하려고 노력을 해야 할 것 같다. 첫 주보다는 더 편안해진 것 같다. 스페셜 피어세션을 하며 다른 조의 좋은 제도(?)는 도입하여 이번주부터는 아침에 명언을 하나씩 올려 힘든 붓캠 과정에서 서로 격려하기로 했다.
4) 학습 회고
일단 이번 주 배운 내용은 데이터 불러오는 것부터 학습 시키는 것 까지의 그 흐름을 느끼는 것도 중요하다고 느꼈다. 따라서 이 흐름을 정확히 이해하기 위해 노력해야 할 것 같다.
또 멘토링에서는 멘토님께서 현재 기업에서 연구하는 AI 분야에 대해서 알려주셔서 어떤 분야가 있는지 알게 되었고, 관심 분야를 3개 정도 선정해서 남은 level2, level3 때는 그쪽으로 몰두해서 프로젝트를 실행해봐야겠다.
마스터 클래스나 오피스 아워 시간에 AI에 대한 공부는 bottom-up 보다는 일단 해보면서 익히는 것도 좋은 방법이라고 하셨다. 부스트캠프 시작전에 확률론, 선대수 등 따라가려고 bottom -up 방식으로 공부했었는데 지금 부터는 흐름을 이해하며 가지를 뻗어나가는 공부법으로 공부를 해봐야겠다는 생각이 들었다.
'활동 > 네이버 부스트캠프 AI Tech' 카테고리의 다른 글
| Week 5 회고 (1) | 2023.04.09 |
|---|---|
| Week4 회고 (0) | 2023.03.31 |
| Week3 회고 (2) | 2023.03.27 |
| Week1 회고 (0) | 2023.03.13 |
| 네이버 부스트캠프 AI Tech 5기 후기 (0) | 2023.02.26 |
