[딥러닝을 이용한 자연어 처리 입문 15-01 어텐션 메커니즘]을 정리한 내용입니다.Attention 메커니즘Attention(Q,K,V) = Attentionvalue어텐션 함수는 주어진 Query에 대해 모든 Key의 유사도를 각각 구한다. 그리고 이 유사도를 key와 매핑되어있는 각각의 값(value)에 반영해준다. 유사도가 반영된 값(value)을 모두 더해서 리턴하고, attention value를 반환한다.Dot-Product AttentionSeq2Seq에 Attention 기법을 적용한 예시인 바다나우 어텐션의 기본 형태. Attention value a_t를 구하는 방법은 다음과 같다.Attention Score(e_t)를 구한다.encoder의 시점(time step)을 각각 $1,2,..

14 Visualizing trends주로 산점도(Chapter 12)나 시계열(Chapter 13)에서 개별 데이터 포인트가 어디에 위치하는지보다 데이터의 전체적인 흐름에 더 관심이 있을 때가 많습니다. 추세를 실제 데이터 포인트 위나 그 대신에 그려줌으로써, 보통 직선이나 곡선의 형태로 나타내어 독자가 데이터의 주요 특징을 즉시 파악할 수 있도록 하는 시각화를 만들 수 있습니다.추세를 파악하는 데에는 두 가지 기본적인 접근 방식이 있습니다. 첫 번째는 이동 평균과 같은 방법으로 데이터를 평활화(smoothing)하는 것이고, 두 번째는 정의된 함수 형태로 곡선을 맞춘 후에 그 곡선을 그리는 것입니다. 데이터셋에서 추세를 파악한 후에는 그 추세에서의 편차를 구체적으로 살펴보거나, 데이터를 기본 추세, ..

13 Visualizing time series and other functions of an independent variable시간은 데이터에 추가적인 구조를 부여하기 때문에, 데이터 포인트는 고유한 순서를 가지게 됩니다. 따라서 데이터를 시간의 증가 순서로 배열할 수 있으며, 각 데이터 포인트에 선행자와 후속자를 정의할 수 있습니다.13.1 Individual time series개별 시계열 시계열의 첫 번째 예시로, 생물학 분야에서 월간 프리프린트(preprint) 제출 패턴을 고려해 보겠습니다. 프리프린트는 연구자들이 과학 저널에서 공식적인 동료 심사(peer review)와 출판 이전에 온라인에 게시하는 과학 논문입니다. 생물학 연구자들을 위해 2013년 11월에 설립된 프리프린트 서버인 bi..

12 Visualizing associations among two or more quantitative variables많은 데이터셋이 두 개 이상의 양적 변수를 포함하고 있으며, 이러한 변수들이 서로 어떻게 관련되어 있는지를 알고 싶어 할 때가 있습니다. 예를 들어, 동물의 키, 몸무게, 길이, 일일 에너지 소모량과 같은 양적 측정값이 포함된 데이터셋이 있을 수 있습니다. 두 변수 간의 관계를 시각화하려면, 보통 산점도를 사용합니다. 그러나 두 개 이상의 변수를 동시에 나타내고 싶다면, 버블 차트, 산점도 행렬, 또는 상관 행렬과 같은 방법을 사용할 수 있습니다. 매우 고차원적인 데이터셋의 경우, 주성분 분석과 같은 차원 축소 기법을 사용하는 것이 유용할 수 있습니다.12.1 Scatter plots..

11 Visualizing nested proportions데이터셋을 여러 범주형 변수에 따라 동시에 세분화하여 분석하고 싶은 경우도 종종 있습니다. 예를 들어, 의회 의석의 경우, 정당별 의석 비율과 대표자의 성별에 따른 의석 비율에 관심을 가질 수 있습니다. 비슷하게, 사람들의 건강 상태에 대해 이야기할 때, 건강 상태가 결혼 상태에 따라 어떻게 세분화되는지 궁금할 수도 있습니다.중첩된 비율을 시각화하는 데 적합한 몇 가지 방법이 있으며, 그 중에는 모자이크 플롯(mosaic plot), 트리맵(treemap), 평행 집합(parallel sets) 등이 있습니다.11.1 Nested proportions gone wrong피츠버그의 다리들을 건설 재료(강철, 목재, 철)와 건설 연도(수공예, 187..

10 Visualizing proportions10.1 A case for pie charts1961년부터 1983년까지 독일 의회(분데스탁)는 CDU/CSU, SPD, FDP 세 개의 정당으로 구성되었습니다. 이 기간 동안 대부분 CDU/CSU와 SPD는 대략 비슷한 의석 수를 가졌으며, FDP는 대개 작은 비율의 의석만을 차지했습니다. 예를 들어, 1976-1980년의 8대 분데스탁에서 CDU/CSU는 243석, SPD는 214석, FDP는 39석을 차지하여 총 496석을 구성했습니다. 이러한 의회 데이터를 가장 일반적으로 시각화하는 방법이 바로 파이 차트입니다.동일한 절차를 직사각형에 적용할 수 있으며, 그 결과는 스택형 막대 차트가 됩니다.파이 차트는 반, 3분의 1, 또는 4분의 1과 같은 단순..