전체 글 썸네일형 리스트형 편향 분산 트레이드 오프 - Bias Variance Tradeoff 수식 유도 완전 정리 Bias-Variance Trade-off 파헤치기 (1) — 테스트 오차는 어떻게 분해되는가머신러닝 모델을 학습시킬 때 우리는 항상 같은 질문에 부딪힌다. "이 모델이 새로운 데이터에도 잘 작동할까?" 훈련 데이터에서 아무리 좋은 성능을 보여도 테스트 데이터에서 실패하는 경우는 비일비재하다. 이 문제의 핵심에 Bias-Variance Trade-off가 있다.이 글에서는 "테스트 오차가 왜 발생하는가"를 수식으로 정확하게 분해한다. 결론부터 말하면, 테스트 오차는 세 가지 독립적인 원인의 합으로 나타난다. $\mathbb{E}[(y_0 - \hat{f}(x_0))^2] = Bias^2 + Variance + \sigma^2$ 이 식이 어떻게 나오는지, 각 항이 무엇을 의미하는지를 하나씩 파헤쳐보자.0... 더보기 Transformer Self-Attention 수식 완전 정리 — Query Key Value 직관적 이해 Transformer 파헤치기 (2) — Softmax와 Self-Attention: Transformer의 심장https://thisisgonnabegreat.tistory.com/entry/%EB%AA%A8%EB%8D%B8-%ED%8C%8C%ED%97%A4%EC%B9%98%EA%B8%B0-Transformer%ED%8E%B8 Word2Vec 임베딩 수식 완전 정리 — Skip-Gram부터 네거티브 샘플링까지Transformer 파헤치기 (1) — 단어는 어떻게 벡터가 되고, 모델은 어떻게 배우는가GPT나 Claude 같은 모델이 텍스트를 처리하려면, 가장 먼저 "단어"라는 추상적인 기호를 컴퓨터가 계산할 수 있는 숫자thisisgonnabegreat.tistory.com 1편에서 우리는 단어가 어떻게.. 더보기 Word2Vec 임베딩 수식 완전 정리 — Skip-Gram부터 네거티브 샘플링까지 Transformer 파헤치기 (1) — 단어는 어떻게 벡터가 되고, 모델은 어떻게 배우는가GPT나 Claude 같은 모델이 텍스트를 처리하려면, 가장 먼저 "단어"라는 추상적인 기호를 컴퓨터가 계산할 수 있는 숫자로 바꿔야 한다. 이 글에서는 그 변환 과정—임베딩(embedding)—이 정확히 어떤 수학적 구조로 이루어지는지, 그리고 그렇게 만들어진 표현을 모델이 어떻게 학습하는지를 다룬다. 1. 단어를 숫자로 표현하는 두 가지 방법단어를 벡터로 바꾸는 가장 단순한 방법은 원-핫 인코딩(one-hot encoding)이다. 어휘 집합(vocabulary)에 있는 단어 하나하나에 인덱스를 매기고, 해당 인덱스만 1로 표시하고 나머지는 전부 0으로 채우는 방식이다. 이렇게 만들어진 벡터를 희소 표현 벡터(.. 더보기 이전 1 다음
