LLM은 어떻게 다음 말을 고를까? 토큰·임베딩·어텐션을 그림처럼 이해하기

대규모 언어 모델, 즉 LLM이 답변을 만들 때 어떤 일이 일어날까요? 트랜스포머 기반의 텍스트 생성 모델은 입력된 문맥을 바탕으로 다음에 올 토큰을 예측하고, 선택된 토큰을 이어 붙이는 과정으로 설명할 수 있습니다.

처음부터 복잡한 수식을 모두 이해할 필요는 없습니다. 토큰, 임베딩, 어텐션이 각각 어떤 역할을 하는지 작은 예시로 살펴본 뒤, 실제 모델에서는 이 과정이 훨씬 복잡하다는 점을 기억하면 됩니다. 이 글의 비유는 이해를 위한 단순화이며 특정 모델의 내부 계산을 직접 관찰한 결과는 아닙니다.

토큰은 모델이 다루는 텍스트 조각입니다

사람은 문장을 단어 단위로 읽는 데 익숙하지만, 언어 모델은 텍스트를 토큰이라는 조각으로 나누어 처리합니다. 토큰이 항상 단어 하나나 글자 하나와 일치하는 것은 아닙니다. 분리 방식은 모델의 토크나이저와 언어에 따라 다릅니다.

예를 들어 “오늘은 날씨가 맑다”라는 문장을 입력한다고 가정해 보겠습니다. 모델은 이 문장을 자신이 사용하는 방식으로 여러 토큰으로 나눈 뒤 처리합니다. 이 예시에서 토큰이 정확히 몇 개가 되는지는 사용하는 모델을 지정하지 않았으므로 단정할 수 없습니다.

토큰의 수는 긴 대화의 문맥 범위나 일부 API의 사용량을 이해할 때도 중요합니다. 다만 구독형 서비스의 한도와 API의 과금 방식은 같지 않으므로 각각 확인해야 합니다.

임베딩은 토큰을 수치 표현으로 바꿉니다

모델은 텍스트 조각을 그대로 책처럼 읽는 대신, 계산할 수 있는 수치 표현으로 다룹니다. 이때 쓰이는 표현을 이해하는 출발점이 임베딩입니다. 단어를 여러 숫자로 이루어진 좌표에 비유할 수 있지만, 실제 값이 사람이 붙인 명확한 뜻 하나와 일대일로 대응한다고 볼 수는 없습니다.

도서관의 분류표를 떠올려 보세요. 책을 일정한 기준에 따라 정리하면 비슷한 책을 찾는 데 도움이 됩니다. 임베딩도 이런 관계를 이해하기 위한 비유로 볼 수 있습니다. 다만 모델의 벡터 공간은 사람이 만든 단순한 서가 목록과 다르며, 모델과 사용 목적에 따라 표현이 달라집니다.

어텐션은 문맥 속 관계를 계산하는 한 방법입니다

“민지가 우산을 챙겼다. 비가 왔기 때문이다”라는 문장에서 두 번째 문장을 이해하려면 앞선 내용을 함께 살펴볼 필요가 있습니다. 트랜스포머의 어텐션은 입력의 각 부분이 다른 부분을 얼마나 참고할지 계산하는 메커니즘입니다.

Transformer Explainer는 텍스트 생성 모델의 흐름을 시각적으로 살펴볼 수 있는 학습 도구입니다. 설명에 사용되는 작은 모델을 통해 다음 토큰 예측과 어텐션의 관계를 살펴볼 수 있습니다. 이것이 모든 최신 모델의 구조나 작동 과정을 그대로 보여 주는 것은 아닙니다.

어텐션을 “중요한 단어에 형광펜을 칠한다”고 비유할 수 있지만, 모델이 사람처럼 문장을 이해하거나 중요성을 의식적으로 판단한다는 뜻은 아닙니다. 하나의 색이나 선만으로 모델의 모든 판단을 설명하기도 어렵습니다.

다음 토큰 예측은 답변으로 어떻게 이어지나요?

트랜스포머 기반 텍스트 생성 모델은 문맥에 이어질 토큰들의 가능성을 계산하고, 설정된 방식으로 다음 토큰을 선택합니다. 선택한 토큰이 다시 문맥에 포함되고 이 과정이 반복되면서 긴 답변이 만들어집니다.

이 표는 개념 학습을 위한 단순화입니다. 실제 모델은 여러 계층과 추가 연산을 사용합니다.

엑셀이나 시각화 도구로 어디까지 배울 수 있을까요?

작은 표에 몇 개의 토큰과 숫자를 적고 값이 바뀔 때 어떤 결과가 달라지는지 살펴보면, 계산이 어떻게 연결되는지 감을 잡는 데 도움이 될 수 있습니다. 시각화 도구에서는 입력이나 설정을 바꿔 보며 결과가 어떻게 달라지는지 관찰할 수도 있습니다.

하지만 학습용 예시와 실제 대규모 모델을 같은 것으로 취급하면 안 됩니다. 축소된 숫자와 손으로 만든 규칙은 복잡한 학습 과정, 여러 계층의 상호작용, 실제 서비스의 데이터 처리 방식까지 재현하지 못합니다. 원문에 언급된 특정 엑셀 실습 파일은 확인하지 못했으므로 이 글에서 완성된 실습 자료로 제공하지 않습니다.

학습할 때 스스로 확인할 질문

1. 이 도구가 실제 모델을 보여 주나요, 비유를 보여 주나요?

사용한 모델과 예제의 규모, 시각화가 생략한 부분을 확인합니다. 도식과 비유는 흐름을 이해하는 데 도움이 되지만 실험 결과 그 자체는 아닙니다.

2. 입력을 바꾸면 무엇이 달라지나요?

같은 문장의 일부를 바꾸고 출력 후보나 시각화가 어떻게 달라지는지 관찰합니다. 한 번의 결과만으로 모든 모델의 특성을 결론 내리지는 않습니다.

3. 설명과 답변의 정확성을 어떻게 검증하나요?

AI에게 개념을 물었다면 공식 문서나 학습 자료와 대조하고, 예시에서 무엇이 단순화됐는지 확인합니다. 긴 대화에서 모델이 앞선 조건을 놓칠 수 있는 문제는 컨텍스트 관리 글에서도 다룹니다.

자주 묻는 질문

LLM을 이해하려면 수학을 전부 먼저 공부해야 하나요?

전체적인 흐름과 용어는 비유와 시각화로 시작할 수 있습니다. 다만 학습 알고리즘을 깊게 분석하거나 모델을 직접 설계하려면 선형대수와 확률 등 관련 수학이 도움이 됩니다.

토큰은 항상 한 단어인가요?

아닙니다. 토큰 분리 방식은 모델의 토크나이저와 언어에 따라 달라집니다.

다음 토큰을 예측한다면 답변은 항상 사실인가요?

그렇지 않습니다. 그럴듯한 문장을 생성해도 사실과 다를 수 있으므로 중요한 정보는 근거를 확인해야 합니다.

참고 자료

• Transformer Explainer — 트랜스포머와 다음 토큰 예측을 시각적으로 설명하는 학습 도구.
• Attention Is All You Need — 트랜스포머 구조를 제안한 연구.
• 컨텍스트 관리와 확인법 — 긴 입력에서 필요한 정보를 관리하는 기존 글.