![]()
1) Conditional generative model 이것은 무엇인가?? 조건이 주어졌을 때 image를 해석해주는 것을 말한다. 예를 들어 위와 같이 실제 이미지를 가방으로 번역하는 함수가 있다고 한다. 이러한 모델은 조건에 해당하는 결과가 나오는 모델이다. generative model 자체가 확률분포를 모델링하는 기법이기 때문에 확률분포로 표현할 수 있다. 그리고 이러한 조건이 주어지면 확률분포가 확률이 높은 구간의 image가 sampling 되어 나올 것이다. Generative model VS Conditional generative model Generative model 같은 경우에는 생성만 가능했지 이것을 조작하지는 못했다. 하지만 Conditional genrative model 같..
![]()
1) 강의 복습 내용 1. Computer vision 개요, Classification https://ltsgod.tistory.com/101 Computer Vision 개요 어떻게 하면 사람의 시각을 컴퓨터로 구현할 수 있을까?? 전통적인 방법 Input - Feature extraction - Classification - Output Deep Learning Input - Feature extraction + Classification - Output Deep Learning을 이용하면 더이상 ltsgod.tistory.com 2. Annotation Data Efficient Learning https://ltsgod.tistory.com/100 Annotation Data Efficient ..
Resize() -> 해상도 조정 CenterCrop() 가운데 자름 FiveCrop() -> 가운데랑 모서리들 Grayscale() -> grayscale로 바꿈 Random 방법들 ColorJitter() GaussianBlur() 더보기 GaussianBlur는 이미지 처리에서 많이 사용되는 필터 중 하나로, 가우시안 함수를 기반으로 이미지를 부드럽게 만드는데 사용됩니다. 이 필터는 이미지의 잡음을 감소시키고 선명도를 감소시킴으로써 이미지를 부드럽게 만듭니다. GaussianBlur 함수는 블러링 처리를 하기 위해 가우시안 함수를 적용하는데, 이 함수는 중심부에서 멀어질수록 감쇠하는 형태를 띄는 함수입니다. 가우시안 함수는 다양한 분야에서 활용되며, 이미지 처리 분야에서도 이미지 블러링, 에지 검출..
![]()
앞의 Object Detection에서 얘기 했듯 Segmentation 은 같은 클래스내의 다른 객체들은 구분하지 못한다. 따라서 이러한 Semantic segmentation + 물체를 구분하는(object detection)을 활용 한 방법이 Instance Segmentation이다. 1) Instance segmentation 1. Mask R-CNN 그전의 Faster R-CNN은 RPN으로 나온 Bounding Box Proposals 를 이용해 RoI pooling 시켜주었다. 이 때 RoI pooling은 정수좌표들만 지원했었는데 Mask R-CNN의 RoIAlign은 정교한 소숫점 pixel level의 pooling 을 지원해 준다. 또 Mask R-CNN은 기존의 Faster R-C..
![]()
0) CNN Visualization 개요 지금 까지 배운 CNN 기반 Network는 학습가능한 Conv와 non-linear function이 연속으로 되어있는 것으로 볼 수 있다. 이러한 학습이 왜 잘 되는지, CNN 내부에서는 어떻게 학습하고 있는지 등을 보기 위해서는 내부를 까봐야한다. 하지만 여러 단계의 weight로 이루어져 있어 복잡한 내부를 이루고 있다(Black Box) 따라서 이러한 Black Box 의 내부를 까봐야하기 때문에 Visualization이 필요하다. CNN에서 낮은 레벨의 계층에서는 방향성을 가진 선이나 block들이 분포되어 있는 것으로 관찰된다. 또 높아질 수록 의미있는 표현이 학습된다. 첫번째 계층의 Activation visualization을 봐보자. Alex..
![]()
0) Object Detection Semantic segmentation 과 밑의 두 instance segmentation, Panoptic segmentation이 다른점. -> Semantic segmentation 은 같은 클래스내의 Instance는 따로 구분하지 않지만 밑의 두 방법은 같은 class더라도 Instance를 구분한다. 밑의 두 방법에는 classification 과 Box localization 이 들어간다. 이것은 Semantic segmentation 보다 어려운 문제에 속하고 이렇게 classification + Box localization 이 들어간 것을 Object Detection이라고 한다. Object Detection 적용분야 자율주행 OCR(Optical ..
![]()
1) 강의 복습 내용 0. Deep Learning 개요 https://ltsgod.tistory.com/91 0. Deep Learning 개요 1) Deep Learning 의 중요한 요소 1. data 2. model 3. loss 4. algorithm(optimizer) 2) Deep Learning 의 굵직한 사건들 Alexnet - 2012 DQN - 2013 Adam - Optimizer - 2014 Generative Adversal Network - 2015 Residual Networks - 2015 깊게 층을 쌓 ltsgod.tistory.com https://ltsgod.tistory.com/95 Optimizer 0) Gradient Descent(경사 하강법) Gradient ..
![]()
0) Sementic Segmentation - pixel 단위로 분류하는 것 - 기본적으로 같은 class인데 서로 다른 물체는 구분하지 않음. 1) Sementic Segmentation Architectures AlexNet 같은 fully-connected Layer의 문제점 1. 입력이 바뀌면 fc에서의 차원이 바뀌어 호환되지 않는다. 예를 들어 만약 100 * 100의 이미지가 input으로 들어가 학습된 network가 있다면 test시 200 * 200 의 이미지가 들어간다면 fc layer에서 차원이 맞지 않게 된다. 반면 FCN은 특정해상도에서 학습되어도 test할 때는 임의의 차원의 이미지를 사용할 수 있다. 2. image의 공간정보가 저장되지 않는다. 왜냐하면 1개의 vector로..
어떻게 하면 사람의 시각을 컴퓨터로 구현할 수 있을까?? 전통적인 방법 Input - Feature extraction - Classification - Output Deep Learning Input - Feature extraction + Classification - Output Deep Learning을 이용하면 더이상 Feature Extraction을 사람이 할 일이 없다. 1) CV task에서 CNN을 사용하는 이유 0. K-NN 알고리즘 - K개의 이웃의 data를 보고 그 중 가장 가까운 곳에 속해있는 data로 분류하는 알고리즘. 검색 알고리즘이라고 할 수 있다. 만약 모든 data를 가지고 있다면 KNN을 통해 분류할 수 있을 것이다. (검색문제로 치환가능) 하지만 KNN의 문제점은..
![]()
1) Data augmentation 우리가 얻는 dataset엔 대부분 bias가 있다. 왜냐하면 실제 data 분포보다 우리가 얻는 data는 일부분에 불가하기 때문이다. 이러한 편향이 좋지 않은 이유는 다음과 같다. 만약 낮에 찍은 고양이 사진만 넣어서 학습시키고 어두운 고양이 사진을 넣는다면 network는 좋은 결과를 주지 못한다. 한번도 training 단계에서 보지 못한 data이기 때문이다. 이는 data가 실제의 모든 data 분포를 커버하지 못해서 나온결과이다. 그렇다면 이 빈 공간을 어떻게 채우면 좋을까?? 이 때 Data Augmentation을 사용하면 data의 빈 공간을 어느정도 커버할 수 있다. Crop 한더던지 Rotate한다던지의 방법을 통해 말이다. 앞의 예에서 어두운 ..
![]()
1) Semantic Segmentation 이미지의 모든 pixel이 어떤 label에 속하는지 다루는 것. 지금까지 배운 CNN의 구조는 input이 들어오면 convolution 연산을 하고 그 후 denselayer를 통과해서 결과를 보는 식이었다. 그런데 이러한 dense layer의 연산을 convolution 연산으로 바꿔서 할 수 있다. 그래서 나온것이 fully Convolutional Network이다. 이러한 Dense layer를 없애는 과정을 convolutionalization이다. 하지만 Convolution layer로 바꾼다고 하더라고 파라미터의 수에는 변화가 없다. 왜냐하면 Convolution 연산을 하더라도 바뀐 것은 없는것이다. 왜냐하면 10 x 10 x 3 짜리 를..
![]()
기본적으로 3개의 채널의 convolution 연산을 하게 되면 28 * 28의 한개의 채널이 나오게 된다. 만약 여러개의 채널을 만들고 싶다면 여러개의 filter를 만들어서 convolution 연산을 하면 된다. Convoution에서의 parmeter의 갯수는 filter의 parameter수가 된다. CNN은 Convolution, pooling layer, Fully connected layer로 이루어져 있다. Convolution과 pooling layer는 유용한 정보를 추출하는 역할을 하고 Fc는 마지막 decision making을 담당한다.(ex classification) 1 X 1 Convolution 연산 1 * 1이라는 것은 영역을 보는것이 아니라 한 pixel만 보는것이다...
