![]()
Dataset Dataset 관련 모듈 알아보기 PyTorch에서 데이터를 다루기 위한 몇 가지 모듈을 알아보겠습니다. torch.utils.data: 데이터셋의 표준을 정의하고 데이터셋을 불러오고 자르고 섞는데 쓰는 도구들이 들어있는 모듈입니다. 파이토치 모델을 학습시키기 위한 데이터셋의 표준을 torch.utils.data.Dataset에 정의합니다. Dataset 모듈을 상속하는 파생 클래스는 학습에 필요한 데이터를 로딩해주는 torch.utils.data.DataLoader 인스턴스의 입력으로 사용할 수 있습니다. torchvision.dataset: torch.utils.data.Dataset을 상속하는 이미지 데이터셋의 모음입니다. MNIST나 CIFAR-10과 같은 데이터셋을 제공해줍니다. ..
![]()
hook PyTorch에서 hook은 nn.Module 클래스의 메소드 중 하나로, 모델의 특정 레이어에 훅(hook)을 등록하여 해당 레이어의 입력, 출력, 혹은 중간값을 추적할 수 있도록 합니다. hook은 register_forward_hook 메소드와 register_backward_hook 메소드를 사용하여 등록할 수 있습니다. register_forward_hook 메소드는 해당 레이어의 순전파(forward) 연산이 실행되기 전에 호출되는 함수를 등록합니다. 반면, register_backward_hook 메소드는 해당 레이어의 역전파(backward) 연산이 실행되기 전에 호출되는 함수를 등록합니다. hook 함수는 다음과 같은 인자를 가질 수 있습니다. module: 훅이 등록된 nn.M..
만든 모델의 내부 module 목록을 보고 싶을 때 model.named_children #한 단계 아래 모듈만 보여줌 model.named_modules #전체 하위 module을 보여줌 만약 module만 필요하다면?? model.modules() model.children() 위 함수는 module만 가져온다. 특정 모듈만 가져오고 싶다면?? model.get_submodule(이름) 바로 밑에 단의 모듈들을 검색 할 수 있기 때문에 더 밑에 있는 모듈을 가져오려면 . 으로 연결 시켜서 가져와야한다. 특정 파라미터도 볼 수 있지 않을까?? model.named_parameters() 이것 또한 이름 없이 parameter만 가져올 수 있지만 그러면 어떤 파라미터에 속해있는지 알수없기 때문에 보통 쓰..
Module, model, layer, function module: PyTorch에서 제공하는 기본적인 구성 요소로서, 모델의 각 구성 요소를 캡슐화하는 클래스입니다. nn.Module 클래스를 상속하여 사용되며, 레이어와 함수 등을 포함할 수 있습니다. model: 모델은 레이어와 함수 등을 조합하여 구성된 전체 딥러닝 모델을 나타냅니다. 모델은 PyTorch의 nn.Module 클래스를 상속받아 정의되며, 레이어와 함수 등을 조합하여 전체 모델을 구성합니다. layer: 레이어는 모델을 구성하는 기본 구성 요소입니다. 레이어는 입력 데이터를 받아들이고 출력 데이터를 생성하는 함수를 나타내며, PyTorch에서 제공하는 nn.Module을 상속하여 정의됩니다. function: 함수는 레이어와 유사하..
torch.linalg torch.linalg 모듈은 선형 대수(Linear Algebra)와 관련된 다양한 함수를 제공하는 PyTorch의 서브모듈입니다. 이 모듈은 CPU와 GPU에서 실행될 수 있는 고성능의 BLAS 및 LAPACK 라이브러리에 의존합니다. 주요 기능은 다음과 같습니다. torch.linalg.norm: 텐서의 노름을 계산합니다. torch.linalg.matrix_power: 주어진 행렬의 거듭제곱을 계산합니다. torch.linalg.eig: 정방행렬(e.g., covariance matrix)의 고유값과 고유벡터를 계산합니다. torch.linalg.svd: 특이값 분해(Singular Value Decomposition, SVD)를 계산합니다. torch.linalg.chol..
PyTorch의 Document https://pytorch.org/docs/stable/index.html PyTorch documentation — PyTorch 1.13 documentation Shortcuts pytorch.org PyTorch의 여러 기능 함수들에 대해 볼 수 있다. Torch 목차의 순서대로 3가지씩 함수를 뽑아 정리하였습니다 Random sampling randn PyTorch의 torch.randn() 함수는 정규 분포(가우시안 분포)에서 난수를 생성하는 함수입니다. 함수는 입력된 shape에 따라 주어진 차원을 가진 텐서를 반환합니다. torch.randn(*size, out=None, dtype=None, layout=torch.strided, device=None, ..
Tensor 생성 리스트(list) 또는 NumPy 배열(ndarray)로부터 Tensor 생성 ( list도 가능하다) import torch import numpy as np # 리스트로부터 Tensor 생성 list_data = [1, 2, 3] tensor_data = torch.tensor(list_data) # NumPy 배열로부터 Tensor 생성 ndarray_data = np.array([[1, 2], [3, 4]]) tensor_data = torch.tensor(ndarray_data) Tensor Operation 기본적으로 numpy 연산과 같다. data = [[3,5,20],[10,5,50],[1,5,10]] x_data = torch.tensor(data) x_data[1:,..
PyTorch PyTorch는 Facebook AI Research Lab에서 개발한 오픈소스 머신러닝 프레임워크로, 주로 딥러닝 모델을 구현하고 학습시키는 데 사용됩니다. 파이썬 기반으로 작성되어 있으며, 넘파이(Numpy)와 유사한 API를 제공하므로 사용자 친화적인 프로그래밍 경험을 제공합니다. PyTorch는 다양한 딥러닝 모델의 구현을 지원합니다. 강화학습, 이미지 처리, 음성 처리, 자연어 처리 등 다양한 분야에서 사용됩니다. 또한, 넓은 커뮤니티와 활발한 개발로 인해 지속적인 업데이트와 개선이 이루어지고 있습니다. PyTorch의 핵심 기능으로는 다음과 같은 것이 있습니다. Tensor 연산: 다차원 배열 연산을 지원하며, GPU 연산을 포함한 다양한 하드웨어 환경에서 최적화된 연산을 제공합..
![]()
Merge erge는 둘 이상의 데이터 프레임을 하나로 병합하는 pandas 함수입니다. SQL의 JOIN 작업과 비슷한 개념으로, 두 데이터 프레임 사이의 공통된 열(Column)을 기준으로 합칩니다. pandas에서는 merge() 함수를 사용하여 두 개 이상의 데이터프레임을 병합할 수 있습니다. merge() 함수는 다음과 같은 매개변수를 사용합니다. left: 왼쪽 데이터프레임 right: 오른쪽 데이터프레임 on: 병합 기준 열(Column) 이름 how: 병합 방식 suffixes: 열 이름 충돌 시 추가할 접미사 import pandas as pd # 첫 번째 데이터프레임 df1 = pd.DataFrame({'key': ['A', 'B', 'C', 'D'], 'value': [1, 2, 3,..
![]()
Pivot table Pivot table은 데이터프레임의 열을 행 인덱스, 행을 열 인덱스, 값으로 데이터를 나타내는 테이블을 생성하는 Pandas 함수입니다. Pandas의 pivot_table() 함수를 사용하여 pivot table을 생성할 수 있습니다. 함수는 다음과 같은 매개변수를 사용합니다. data: pivot table을 생성할 데이터프레임 values: 집계할 열 index: 행 인덱스로 사용할 열 columns: 열 인덱스로 사용할 열 aggfunc: 집계 함수 fill_value: 결측값 대체 값 Cross Tab Cross Tab은 두 개 이상의 요인에 대한 빈도표를 생성하는 Pandas 함수입니다. 두 열 간의 교차 빈도표를 만들어서 두 변수 사이의 관계를 시각화하고, 요인 간의..
- sql 의 group by 와 같다! df.groupby("Team")["Points"].sum() 위의 결과는 Team들의 Points들의 합을 반환한다. df.groupby(["Tema","Year"])["Points"].sum() 여러 Column들을 groupby 할 수도 있다. Groupby 한 결과물은 multilevel index를 가진다. >>> sum_wegiht = grouped["Weight"].sum() >>> sum_wegiht Animal Age Cat 2 10 4 15 6 12 Dog 1 30 3 25 5 20 Name: Weight, dtype: int64 >>> sum_wegiht.index MultiIndex([('Cat', 2), ('Cat', 4), ('Cat', ..
Series에 map 적용 Pandas에서 map() 함수는 Series에서 각 요소에 함수를 적용하여 결과를 반환하는 함수입니다. 이 함수는 일반적으로 Series의 각 요소에 대해 변환 함수를 적용하여 새로운 값을 생성하거나, 기존 값에 적용된 변환 함수를 수정하는 데 사용됩니다. 예를 들어, 다음과 같은 Series가 있다고 가정해 봅시다. import pandas as pd s = pd.Series(['apple', 'banana', 'cherry']) s = s.map(len) print(s) """ 0 5 1 6 2 6 dtype: int64""" 위의 코드는 Series의 모든 요소에 대해 len() 함수를 적용하여 문자열 길이를 계산하고, 그 결과를 반환합니다. 이를 실행한 결과는 다음과 ..
