논문 요약! Attention Is All You Need

1. Transformer attention
핵심은 QK^T → softmax → AV.
QK^T는 의미 관계 자체가 아니라 query-key 호환성 점수 행렬.
softmax는 점수를 정규화해 value를 섞는 가중치 행렬로 만듦.
A V로 각 토큰 표현을 문맥에 맞게 재조합함.

2. 네가 잡은 핵심 정리
LLM은 기존에 없는 새로운 문장 구조나 단어를 만들 수 없음.
학습된 단어, 구조를 재조합 하지만 선택의 판단 방식도 학습된 언어 패턴에 의존함.
새 은어/비속어처럼 같은 언어 또는 새로운 소설 등 불가.
신화/설화를 학습시킨다고 실마릴리온이 나오지는 않음.

3. 용어 비판
attention, memory, learning, knowledge, vector, tensor 같은 용어가 과하게 쓰임.
실제론 가중 혼합, 저장/참조, 파라미터 최적화, 패턴 압축, 숫자 배열, 다차원 배열에 가까움.
문제는 수학이 아니라 은유적 이름이 철학적/물리적 의미를 과장하는 것.

4. 철학적 연결
Transformer는 단일 본질 기준보다 토큰 간 관계 가중치의 중첩으로 의미를 구성함.
그래서 비트겐슈타인의 가족유사성과 연결 가능함.
단, 모델이 가족유사성을 이해하는 건 아니고, 그런 방식처럼 작동하는 계산 구조임.

5. 구현/산업 난이도
이론 수식은 단순하지만 실제 구현은 어려움.
병목은 GPU 연산 자체보다 메모리 대역폭, 동기화, 지연, 분산 통신, 최적화.
산업적 가치는 수식보다 대규모 데이터, 병렬 처리, 최적화, 스케일링 성공에서 나옴.

결론... 이딴거로 개인이 4조를 받는다고...?