닫힌 형식 솔루션closed-form solution = Analytic Solution이미 확립된 해법을 이용하여 해석적으로 정확한 해를 구하는 방법.라그랑주의 ‘해석적’에 대한 제안에 따르면, 모든 함수를 무한번 미분가능하고, 멱급수로 전개 가능하다고 가정하였따. 이러한 특징을 갖는 함수를 오늘날 해석함수라고 부른다.만일, 어떤 미분방적식의 솔루션이 해석적이라고 한다면,그 미분방적식을 만족하는 ‘구체적인 함수’를 제시할 수 있어야한다.이 때의 솔루션을 닫힌 형태의 솔루션이라고 한다.닫힌 형태란 삼각함수, 지수함수, 합성함수 등의 초등함수 또는 잘 알려진 함수로 표현할 수 있다는 의미를 갖는, 비형식적 용어이다.[정보통신기술용어해설] 해석학선형회귀의 맥락에서 닫힌 형식 솔루션은 주어진 입력 데이터와 출..

선형 회귀 방정식$$ y = w_0 + w_1x_1 + w_2x_2 + \cdots + w_nx_n $$y는 예측값(종속변수), $w_0$는 절편(bias), $w_1,w_2,\cdots,w_n$는 각 독립변수 $x_1,x_2,\cdots,x_n$의 가중치이다. 데이터 행렬 X:$$ \mathbf{X} =\begin{bmatrix}1 & x_{11} & x_{12} & \cdots & x_{1n} \\1 & x_{21} & x_{22} & \cdots & x_{2n} \\\vdots & \vdots & \vdots & \ddots & \vdots \\1 & x_{m1} & x_{m2} & \cdots & x_{mn}\end{bmatrix} $$첫 번째 열의 모든 값이 1로 채워져있다. 이 열은 절편 w_..

이진 교차 엔트로피(Binary Cross Entropy)이진 교차 엔트로피는 두 클래스를 가진 이진 분류 문제에 특화된 손실 함수다. 이는 실제 레이블과 모델이 예측한 두 클래스가 속할 확률 사이의 불일치를 측정한다. 특히, 모델이 확신을 가지고 잘못된 예측을 할 때, 큰 패널티를 부여한다. 이진 교차 엔트로피의 함수식은 아래와 같다.시그모이드 함수에 의해서 0과 1사이로 계산된 값 y실제레이블 $t_i$ = 0 or 1$$ E(w, b) = -\sum_{i=1}^{n} \{t_i \log y_i + (1 - t_i) \log (1 - y_i)\} $$ 이진 교차 엔트로피는 모델의 예측 확률이 실제 레이블과 얼마나 잘 일치하는지를 측정하여 모델 성능을 평가하는데 중요한 지표다. 예를 들어, 스팸인지 아..

경사하강법경사하강법은 기계학습모델 및 신경망을 훈련하는데 일반적으로 사용되는 최적화 알고리즘이다. [IBM] gradient-descent 경사하강법은 신경망이 스스로를 개선하는 방법 중에 하나이다. 신경망은 예측을 하고, 예측이 얼마나 틀렸는지 알려주는 손실함수를 사용한다. 이때, 이 손실을 줄일 수 있는 방법으로 경사하강법을 사용한다. 경사하강법은 손실함수의 기울기를 계산하고, 이 기울기를 따라 조금씩 나아가며 손실을 줄인다. 이런 방법을 반복하면 신경망은 예측을 개선하고 모델을 최적화하게 된다. [wikidocs] 경사하강법 출발점은 우리가 성능을 평가하기 위한 임의의 지점일 뿐이다. 그 시작점에서 우리는 도함수(또는 기울기)를 찾고 거기에서 접선을 사용하여 기울기의 가파른 정도를 관찰할 수 있다...

1. 선형회귀란?선형 회귀는 알려진 다른 관련 데이터 값을 사용하여 알 수 없는 데이터의 값을 예측하는 데이터 분석 기법이다.독립 변수와 종속 변수 사이에는 선형 관계가 있어야 한다. 이 관계를 확인하기 위해 데이터 사이언티스트는 x 및 y 값의 무작위 모음인 산점도를 만들어 직선을 따라 표시되는지 확인한다. 그렇지 않은 경우 제곱근이나 로그와 같은 비선형 함수를 적용하여 두 변수 간의 선형 관계를 수학적으로 만들 수 있다.[aws] linear-regression 선형 회귀란 무엇인가요? - 선형 회귀 모델 설명 - AWS선형 회귀란 무엇입니까? 선형 회귀는 알려진 다른 관련 데이터 값을 사용하여 알 수 없는 데이터의 값을 예측하는 데이터 분석 기법입니다. 알 수 없는 변수 또는 종속 변수와 알려진 변..