HyperParameter Tuning, Ray - tune 라이브러리

Ray

Ray는 파이썬 기반의 분산 시스템을 위한 오픈소스 프레임워크로, 머신러닝과 딥러닝 등의 분산 처리를 위한 다양한 기능을 제공합니다.

 

Ray는 분산 컴퓨팅을 구현하기 위한 몇 가지 주요 기능을 제공합니다.

 

• Task Parallelism: Ray는 간단한 API를 통해 함수를 분산 실행할 수 있습니다. Ray는 함수를 자동으로 병렬 실행하고 각각의 실행 결과를 모으는 작업을 처리합니다.
• Actor Model: Ray는 고수준의 Actor 모델을 지원합니다. Actor는 메시지를 수신하고 처리하는 동시성 개체로, 분산 환경에서 병렬 처리를 가능하게 합니다. Ray는 Actor 개체를 생성하고 호출할 수 있는 API를 제공합니다.
• Distributed Data: Ray는 분산 데이터 처리를 지원합니다. 분산 데이터 처리를 위해 Ray는 key-value 데이터베이스를 구현하고, 분산 객체 저장소를 제공합니다. 이를 통해 매우 큰 데이터를 효율적으로 처리할 수 있습니다.
• Distributed Learning: Ray는 분산 학습을 지원합니다. 분산 학습은 여러 머신에서 모델을 학습시키는 기술로, Ray는 분산 학습에 필요한 도구와 라이브러리를 제공합니다.

 

Ray는 사용하기 쉬우며, 다양한 어플리케이션에서 사용할 수 있습니다. Ray를 사용하면 기존의 파이썬 코드를 쉽게 분산 처리할 수 있으며, 성능을 향상시키는 데 도움이 됩니다. 또한, Ray는 대규모 시스템에서도 잘 동작하므로, 대용량 데이터를 처리하는 머신러닝/딥러닝 모델 학습 등에 적합합니다.

 

Tuning 할 때 2가지 progress

 

1. Tuning 목적 정하기(종속 변인)

 - ex) 과일 이미지 분류의 accuracy 최대화, 과일 이미지 분류의 loss 값 최소화

 

2. Tuning 할 Hyper Parameter 정하기( 조작변인, 통제변인)

 - 고정시켜야 할 요인과 바꾸어 가며 찾아야할 Hyper parameter를 정한다.