Zero-Centered Output"Zero-centered"란 데이터의 평균이나 중간값이 0에 가까운 상태를 의미한다. 즉, 출력이 0을 기준으로 양쪽으로 대칭적으로 분포되는 경우이다. 예를 들어, 출력값이 -1과 1 사이에서 대칭적으로 분포한다면, 이는 zero-centered output이다.Not Zero-Centered Output반대로, "Not zero-centered"는 출력값이 0을 중심으로 대칭적이지 않은 경우를 말한다. 예를 들어, 모든 출력값이 0보다 크거나, 혹은 특정 범위에서만 존재하는 경우이다. 예를 들어, ReLU 활성화 함수의 출력은 0 또는 양수만을 반환하므로 not zero-centered output에 해당한다.딥러닝에서의 영향Gradient Descent:딥러닝 모..

닫힌 형식 솔루션closed-form solution = Analytic Solution이미 확립된 해법을 이용하여 해석적으로 정확한 해를 구하는 방법.라그랑주의 ‘해석적’에 대한 제안에 따르면, 모든 함수를 무한번 미분가능하고, 멱급수로 전개 가능하다고 가정하였따. 이러한 특징을 갖는 함수를 오늘날 해석함수라고 부른다.만일, 어떤 미분방적식의 솔루션이 해석적이라고 한다면,그 미분방적식을 만족하는 ‘구체적인 함수’를 제시할 수 있어야한다.이 때의 솔루션을 닫힌 형태의 솔루션이라고 한다.닫힌 형태란 삼각함수, 지수함수, 합성함수 등의 초등함수 또는 잘 알려진 함수로 표현할 수 있다는 의미를 갖는, 비형식적 용어이다.[정보통신기술용어해설] 해석학선형회귀의 맥락에서 닫힌 형식 솔루션은 주어진 입력 데이터와 출..

선형 회귀 방정식$$ y = w_0 + w_1x_1 + w_2x_2 + \cdots + w_nx_n $$y는 예측값(종속변수), $w_0$는 절편(bias), $w_1,w_2,\cdots,w_n$는 각 독립변수 $x_1,x_2,\cdots,x_n$의 가중치이다. 데이터 행렬 X:$$ \mathbf{X} =\begin{bmatrix}1 & x_{11} & x_{12} & \cdots & x_{1n} \\1 & x_{21} & x_{22} & \cdots & x_{2n} \\\vdots & \vdots & \vdots & \ddots & \vdots \\1 & x_{m1} & x_{m2} & \cdots & x_{mn}\end{bmatrix} $$첫 번째 열의 모든 값이 1로 채워져있다. 이 열은 절편 w_..

[유형]자료구조, stack [문제링크]https://www.acmicpc.net/problem/2841 [요약]손가락을 수십억개 갖고 있는 외계인이 기타를 치려고 한다.기타는 6개의 줄이 있고, 각각의 줄은 P개의 플랫으로 나뉘어진다.프렛을 누른 상태로 줄을 튕기면 음을 연주할 수 있는데, 어떤 줄의 프렛을 여러 개 누르고 있다면 가장 높은 음이 들린다.손가락으로 프렛을 누르거나 떼는 것을 한번 움직였다고 할 때, 횟수를 최소화하는 방법을 구하는 프로그램을 작성하시오. [문제풀이]1. 빈 리스트 안에 7개의 리스트를 생성한다. 2. 스택이 비어있다면, 스택에 append를 해주고 ans+13. 스택이 비어있지않고, 스택의 마지막 값이 b보다 크다면, 스택의 마지막 값 pop, ans+14. 스택이 비어..

이진 교차 엔트로피(Binary Cross Entropy)이진 교차 엔트로피는 두 클래스를 가진 이진 분류 문제에 특화된 손실 함수다. 이는 실제 레이블과 모델이 예측한 두 클래스가 속할 확률 사이의 불일치를 측정한다. 특히, 모델이 확신을 가지고 잘못된 예측을 할 때, 큰 패널티를 부여한다. 이진 교차 엔트로피의 함수식은 아래와 같다.시그모이드 함수에 의해서 0과 1사이로 계산된 값 y실제레이블 $t_i$ = 0 or 1$$ E(w, b) = -\sum_{i=1}^{n} \{t_i \log y_i + (1 - t_i) \log (1 - y_i)\} $$ 이진 교차 엔트로피는 모델의 예측 확률이 실제 레이블과 얼마나 잘 일치하는지를 측정하여 모델 성능을 평가하는데 중요한 지표다. 예를 들어, 스팸인지 아..

경사하강법경사하강법은 기계학습모델 및 신경망을 훈련하는데 일반적으로 사용되는 최적화 알고리즘이다. [IBM] gradient-descent 경사하강법은 신경망이 스스로를 개선하는 방법 중에 하나이다. 신경망은 예측을 하고, 예측이 얼마나 틀렸는지 알려주는 손실함수를 사용한다. 이때, 이 손실을 줄일 수 있는 방법으로 경사하강법을 사용한다. 경사하강법은 손실함수의 기울기를 계산하고, 이 기울기를 따라 조금씩 나아가며 손실을 줄인다. 이런 방법을 반복하면 신경망은 예측을 개선하고 모델을 최적화하게 된다. [wikidocs] 경사하강법 출발점은 우리가 성능을 평가하기 위한 임의의 지점일 뿐이다. 그 시작점에서 우리는 도함수(또는 기울기)를 찾고 거기에서 접선을 사용하여 기울기의 가파른 정도를 관찰할 수 있다...