![]()
시퀀스 데이터란?? Sequence data는 일반적으로 순서가 중요한 데이터 형태를 말합니다. 예를 들어, 주식, DNA 서열, 음악 및 음성 신호, 자연어 문장 등이 sequence data의 예시입니다. RNN은 multi layer perceptron과 식이 비슷하지만 현재 입력외에도 그전 상태를 기억하는 변수가 하나더 있음을 알 수 있다. 그리고 이런 변수에 W가중치를 곱해 정보를 추출한다. RNN의 역전파 RNN의 역전파는 그림과 같이 퍼져 나가게 된다. 이를 BPTT라고 한다.역전파 계산은 위에 보았던 RNN의 식을 chain rule을 적용해 구해주면 된다. BPTT란? BPTT(Backpropagation Through Time)는 순환 신경망(Recurrent Neural Network..
![]()
본 포스팅은 AI 네이버 부스트캠프 강의의 복습용도로 쓰여졌습니다. 다층신경망(MLP) 구조는 Ax = b 의 행렬에 벡터를 곱한 선형결합식에 활성화 함수를 씌워 연결된 fully connected 구조이다. 반면 Convolution 연산의 경우 커널을 입력벡터 상에서 움직이며 벡터를 도출해낸다.(Convolution 연산도 선형변환에 해당한다.) Convolution 연산의 수학적 의미 함수와 함수 사이의 상호 작용을 나타내는 것입니다. Convolution은 두 함수 f와 g를 입력받아 새로운 함수 h를 출력하는 방법으로, 함수 f와 g의 곱을 적분한 것입니다. 수식으로 표현하면 다음과 같습니다. Convolution 연산은 입력 함수 f와 필터 g가 신호를 국소적으로 증가 시키거나 감소시켜 정보를..
![]()
조건부 확률이 뭡니까?? 조건부 확률(Conditional probability)은 어떤 사건이 발생하였을 때, 다른 사건이 발생할 확률을 의미합니다. 즉, 한 사건이 일어난 조건에서 다른 사건이 일어날 확률을 계산하는 것입니다. 조건부 확률은 P(A|B) 또는 P(B|A)와 같이 표기하며, 이는 B가 주어졌을 때 A가 일어날 확률 또는 A가 주어졌을 때 B가 일어날 확률을 나타냅니다. 이를 수식으로 나타내면 다음과 같습니다. P(A|B) = P(A∩B) / P(B) 여기서 A∩B는 A와 B가 동시에 일어날 확률을 나타냅니다. 즉, 조건부 확률은 B가 일어난 경우에 한정하여 A가 일어날 확률을 계산하는 것입니다. 베이즈 정리가 뭡니까?? P(A|B) = P(B|A)P(A) / P(B) 여기서 P(A)는 ..
![]()
모수가 뭡니까?? 통계학에서 모수는 모집단의 특성을 나타내는 수치적인 값입니다. 모집단(population)이란 조사 대상이 되는 전체 집단을 의미하며, 모수는 이 모집단에서 추출한 표본으로부터 계산된 통계량(statistic)의 분포를 결정하는 값입니다. 예를 들어, 어떤 특성에 대해 전체 인구를 조사하고 그 결과를 사용하여 평균값, 분산, 표준편차 등의 통계량을 계산할 수 있습니다. 이때 이 통계량을 계산하는 데 사용된 전체 모집단의 특성을 나타내는 값이 바로 모수입니다. 일반적으로 모수는 대문자로 표기하며, 평균을 나타내는 μ, 분산을 나타내는 σ², 표준편차를 나타내는 σ 등이 대표적인 모수입니다. 그러나 모집단의 평균 분산을 아는 것은 쉬운일이 아니다. 알려고 전수조사를 하면 비용이나 시간 측면..
![]()
몬테 카를로 샘플링(Monte Carlo Sampling)은 통계학에서 사용되는 확률적인 샘플링 방법 중 하나입니다. 몬테 카를로 샘플링은 분포 함수의 특정 부분에 대한 적분 값을 추정하는 데에 유용하게 사용됩니다. 몬테 카를로 샘플링은 다음과 같은 과정으로 이루어집니다. 적분하고자 하는 함수 f(x)를 정의합니다. 함수 f(x)가 정의된 영역에서 무작위로 점들을 추출합니다. 추출한 점들이 함수 f(x) 내부에 있는지 검사합니다. 이때, 점이 함수 f(x) 내부에 있을 확률은 함수 값이 정의된 영역 내에서의 총 면적 대비 함수 f(x)의 면적입니다. 함수 f(x)의 값과 추출한 점들이 내부에 있는지 여부를 이용하여 적분 값을 추정합니다. 적분 값은 함수 f(x)의 평균값과 추출한 점들이 함수 내부에 있는..
![]()
머신 러닝에서 비선형 함수를 다루는 방법은 여러 가지가 있습니다. 비선형 함수는 일반적으로 데이터 분포에서의 패턴을 잡아내기 위해 사용됩니다. 선형 함수로는 잘 설명할 수 없는 데이터 분포를 설명하기 위해서는 비선형 함수를 사용해야 합니다. 여기서는 주로 신경망을 활용하는 방법을 설명하겠습니다. 신경망을 사용하는 방법 신경망은 여러 개의 비선형 함수를 사용하여 복잡한 함수를 근사하는 모델입니다. 각 층은 비선형 함수(활성화 함수)를 적용하여 입력 데이터를 변환합니다. 이를 통해 신경망은 다양한 함수를 근사할 수 있습니다. 따라서, 신경망을 이용하여 비선형 함수를 근사할 수 있습니다. 소프트맥스 함수 소프트맥스 함수(Softmax function)는 입력된 벡터를 각 원소의 확률값으로 변환해주는 함수입니다..
경사 하강법(Gradient Descent)은 기계 학습과 최적화 문제에서 매우 중요한 알고리즘 중 하나입니다. 경사 하강법은 함수의 기울기(gradient)를 이용하여 함수의 최솟값을 찾는 최적화 기법입니다. 경사 하강법은 다음과 같은 단계로 이루어집니다. 임의의 시작점을 선택합니다. 함수의 기울기를 계산합니다. 기울기가 감소하는 방향으로 이동합니다. 반복합니다. 즉, 새로운 위치에서 다시 기울기를 계산하고, 이동합니다. 이를 반복하여 함수의 최솟값에 가까워집니다 이 알고리즘은 반복을 할수록 함수의 값이 점점 작아지므로, 어느 정도 반복을 하면 최적화된 값을 찾을 수 있습니다. 경사 하강법의 속도는 학습률(learning rate)에 따라 결정됩니다. 학습률이 너무 작으면 최적점에 도달하는데 시간이 오..
![]()
행렬의 곱 행렬의 곱은 첫번째 행렬의 행벡터의 갯수와 두번째 행렬의 열벡터의 개숫가 맞아야지 곱을 할 수 있다. m X n 행렬과 n X k 의 행렬의 곱을 수행하면 m X k의 행렬이 나온다. np.inner함수 내적함수지만 수학에서 말하는 내적과 다르다! 이 내적 함수는 첫번째 행렬과 두번째행렬의 행수가 같아야한다. 행렬을 연산자로서 이해하기 행렬 연산은 벡터를 다른 차원으로 보낼 수 있다. Ax = b에서 x를 b의 차원으로 보낼 수 있다. 이러한 행렬곱을 통해 데이터의 패턴을 추출할 수 도 있고, 데이터를 압축할 수도 있다. 역행렬 역행렬(inverse matrix)은 주어진 행렬의 곱셈에 대해 항등원(identity matrix)을 얻을 수 있는 역원(inverse element)입니다. 즉, ..
벡터가 무엇인가?? 벡터는 크기와 방향을 가지고 있는 양을 나타내는 수학적 개념입니다. 벡터는 화살표로 표현되며, 화살표의 길이는 벡터의 크기를 나타내고, 화살표의 방향은 벡터의 방향을 나타냅니다. 예를 들어, 우리가 2차원 평면에서 (3, 4) 벡터를 가진다면, 이 벡터는 시작점이 원점이고 끝점이 (3, 4)인 화살표로 나타낼 수 있습니다. 이 벡터의 크기는 √(3² + 4²) = 5 이고, 방향은 x축에서 3만큼 오른쪽, y축에서 4만큼 위쪽을 가리키는 것입니다 벡터의 성분곱 벡터의 성분곱(또는 내적, dot product)은 두 벡터의 각 성분을 곱한 후 더한 값을 나타내는 연산입니다. 두 벡터 a = (a1, a2, ..., an)와 b = (b1, b2, ..., bn)가 있을 때, 이들의 성분..
![]()
핵심 키워드 누적분포함수(CDF) 독립 확률변수 기댓값(expectation) 지시확률변수 선형성(linearity) 기하분포
![]()
핵심 키워드 확률분포 모수 확률질량함수(PMF) 지시확률변수 누적분포함수(CDF) 이항분포 초기하분포
