이 글은 2026년 기준으로 AI 토큰 하나가 데이터센터를 통과하며 겪는 15가지 물리적, 논리적 단계를 상세히 설명합니다. AI 제품의 핵심인 추론(inference) 과정이 어떻게 진행되는지, 그리고 이 과정에서 발생하는 비용과 최적화 기법들을 다룹니다. 특히, 추론이 AI 컴퓨팅의 대부분을 차지하게 되면서 토큰당 비용을 줄이고 지연 시간을 최소화하기 위한 다양한 기술적 노력이 어떻게 이루어지는지 심층적으로 파헤치고 있습니다.

1. AI 추론의 중요성 부상과 토큰 경제 📈

2026년, 우리가 사용하는 모든 AI 제품은 기본적으로 토큰 생성기입니다. 챗봇, 코딩 에이전트, 검색 요약, 이미지 캡션 등 모든 AI 서비스는 학습된 모델이 다음 토큰을 예측하고 또 다음 토큰을 예측하는 방식으로 작동하는데, 이를 추론(inference)이라고 부릅니다. 2026년에는 이 추론이 모델 훈련을 넘어 AI 컴퓨팅의 핵심이 되었어요. 📊

Google은 2026년 5월에 월 3.2 경(quadrillion) 개의 토큰을 처리했다고 밝혔는데, 이는 1년 전 480조 개에서 7배 증가한 수치이고, 2024년 초 9.7조 개와 비교하면 엄청난 성장이에요. 이 모든 것이 훈련이 아니라 사용자 질문에 답하는 데 드는 비용이죠. 추론은 여전히 '프롬프트 입력 -> 답변 출력 -> GPU 작동'이라는 블랙박스처럼 느껴지지만, 이 글은 그 내부를 들여다봅니다. 단 하나의 프롬프트가 데이터센터 내부의 15가지 물리적, 논리적 지점을 어떻게 거치는지 자세히 설명하며, 이 과정을 통해 "AI 인프라"가 추상적인 개념이 아닌, 지연 시간, 토큰당 비용, 투자 가치를 계산할 수 있는 구체적인 대상으로 변화하는 것을 보여줍니다.

이 하나의 여정 뒤에는 컴퓨팅 역사상 가장 큰 자본 재분배가 있습니다. 2026년에는 추론이 전체 AI 컴퓨팅의 약 3분의 2를 차지하며, 이는 2023년의 3분의 1, 2025년의 절반에서 크게 증가한 수치예요. 상위 4개 하이퍼스케일러들은 2026년에 약 7,250억 달러를 투자할 것으로 예상되는데, 이는 전년 대비 77% 증가한 금액이며, 이 중 60% 이상이 칩이 아닌 전력, 냉각, 건물에 투자될 예정입니다. 추론 전용 실리콘 시장만 해도 2026년에 500억 달러에 달할 거예요. 이 모든 경제를 연결하는 단위는 토큰이며, 토큰 가격은 연간 약 200배씩 하락하는 반면, 사용량은 연간 7배씩 증가하고 있습니다. 이러한 가격 하락과 사용량 증가의 시너지가 바로 토큰 경제를 주도하는 핵심입니다.

2. AI 추론의 핵심 원칙과 경제적 의미 ✨

AI 추론에 대한 논의는 다섯 가지 핵심 포인트로 요약할 수 있습니다.

1. 추론은 AI 컴퓨팅의 2/3 이상을 차지하며, 모델 평생 비용의 80-90%에 달합니다. 이제는 모델이 아니라 토큰이 경제적 산출물의 단위가 되었어요.
2. 두 가지 단계, 두 가지 병목 현상:
   • 프리필(Prefill)은 컴퓨팅 집약적이며, 첫 토큰 생성 시간(time-to-first-token, TTFT)을 결정합니다.
   • 디코드(Decode)는 메모리 대역폭 집약적이며, 속도와 비용을 결정합니다. 거의 모든 최적화는 이 두 가지 중 하나를 목표로 합니다.
3. 단위 비용은 연간 약 200배씩 하락하는 반면, 사용량은 연간 약 7배씩 증가합니다. 이는 단순한 디플레이션이 아니라 제번스의 역설에 가깝습니다. 즉, "엄청난 규모"와 "높은 마진"은 다른 이야기입니다.
4. 지속적인 가치는 물리적 병목 지점에 있습니다. 바로 메모리 대역폭, 스케일업 인터커넥트, 광학 부품, 그리고 전력이죠. 추론 소프트웨어 계층도 중요하지만 경쟁이 치열한 분야입니다.
5. 추론 구매는 가중치 부여된 트레이드오프입니다. 지연 시간(TTFT + 속도 + p99), 혼합 비용, 안정성(기능적 가용성 격차 포함), 보안, 배포, 모델 커버리지, 이식성 등 다양한 요소를 자신의 워크로드에 맞춰 평가해야 합니다.

이러한 세부 사항에 관심을 기울여야 하는 이유는 바로 경제성 때문입니다. 모델 훈련은 고정 자산을 생성하는 일회성 자본 지출인 반면, 추론은 매 쿼리마다 발생하고 사용량에 비례하여 증가하는 매출원가입니다. 업계에서는 배포된 모델의 전체 컴퓨팅 비용 중 추론이 결국 80-90%를 차지한다고 봅니다. 따라서 2023년 컴퓨팅의 3분의 1에서 2026년 3분의 2로 증가한 추론 비중은 일시적인 유행이 아니라, 대부분의 가속기가 학습이 아닌 서비스 제공에 시간을 보내는 안정적인 상태에 도달했음을 의미합니다.

이것이 이번 10년의 주요 인프라 시장이 되는 두 가지 요인이 있습니다. 첫째, AI 기술의 발전이 더 큰 모델에서 더 '오래 생각하는' 모델로 이동했습니다. 즉, 추론 및 에이전트 시스템은 쿼리당 10~100배 더 많은 토큰을 사용합니다. DeepSeek-R1은 OpenAI의 o1과 비슷한 성능을 보이면서도 답변당 토큰을 10배 더 많이 생성했고, 에이전트 워크플로우는 재시도, 도구 호출, 컨텍스트 재로드 등으로 인해 단일 작업 완료보다 작업당 5~25배 더 비쌉니다. 둘째, 현대사에 유례없는 가격 하락이 있습니다. 고정된 품질 수준을 제공하는 데 드는 비용은 2024년 초부터 연간 약 200배씩 하락했습니다. 저렴해진 토큰은 지출을 줄이는 것이 아니라, 가격 하락보다 더 빠르게 새로운 워크로드를 가능하게 합니다. 이것이 바로 제번스의 역설입니다.

3. 데이터센터 내부 토큰의 여정: 15단계 상세 분석 🗺️

하나의 프롬프트가 데이터센터를 통과하는 과정을 15단계로 나누어 자세히 살펴봅시다. 이 과정을 통해 토큰당 비용과 지연 시간이 어떻게 결정되는지 알 수 있습니다.

3.1. 1단계: 토크나이저 (Tokenizer) 🔡

여정은 데이터센터에 도착하기 전부터 시작됩니다. 사용자가 엔터키를 누르면 클라이언트는 HTTPS를 통해 텍스트를 전송하지만, 모델은 텍스트를 직접 보지 않습니다. 대신 정수(integer)를 봅니다. 토크나이저(Tokenizer)(바이트 레벨 바이트 페어 인코더)가 문자열을 서브워드 토큰으로 나누고, 각 토큰을 약 10만~20만 개의 항목으로 구성된 어휘집에서 가져온 ID에 매핑합니다. 예를 들어, 12,000 토큰짜리 RFP(제안요청서)와 질문은 12,022개의 정수 ID 시퀀스가 됩니다. 토큰화는 결정론적이고 CPU 측에서 이루어지며 사실상 무료이지만, 청구 비용을 결정합니다. 입력 토큰과 출력 토큰 모두에 대해 요금이 부과되며, 모델의 컨텍스트 윈도우(2026년 최신 모델은 20만~100만 토큰)는 입력 가능한 RFP 양에 대한 엄격한 제한을 의미합니다.

3.2. 2단계: API 게이트웨이 (API Gateway) 🚪

요청(여전히 ID를 담은 HTTPS 바디)은 데이터센터의 정문인 API 게이트웨이에 도착합니다. 여기서 TLS를 종료하고, 스키마에 따라 요청을 파싱하고 검증하며, API 버전 관리를 적용하고, 대략적인 비율 제한을 걸고, 추적 ID를 첨부하고, 첫 번째 계량 이벤트를 발생시킵니다. 이 게이트웨이는 의도적으로 단순하고 매우 빠릅니다. 모델 로직 없이, Envoy 또는 NGINX급 프록시(웹 애플리케이션 방화벽으로 보호됨)를 통해 초당 수백만 건의 요청을 처리하며 입장 및 기록만 담당합니다. 지연 시간 예산은 1밀리초 미만입니다. 이 게이트웨이의 역할은 비정상적이거나, 할당량을 초과했거나, 악의적인 트래픽의 5%를 값비싼 자원을 사용하기 전에 차단하는 것입니다.

3.3. 3단계: 인증 및 빌링 (Authentication & Billing) 💰

GPU를 사용하기 전에 요청은 속성을 부여받아야 합니다. 인증 과정은 API 키 또는 OAuth 토큰을 조직으로 확인하고, 해당 조직의 비율 제한 등급 및 지출 한도를 확인하며, 과금 방식을 결정합니다. 여기에는 토큰당 가격, 캐시된 입력 할인(50~90% 할인), 우선순위 처리, 저렴한 배치 가격 적용 여부 등이 포함됩니다. 또한, 조직 단위의 데이터 격리 및 악용 방지를 위한 보안 경계이기도 합니다. 이 단계에서 요청은 익명 바이트에서 측정되고, 가격이 매겨지며, 격리된 작업 단위로 변모합니다.

3.4. 4단계: 부하 분산 (Load Balancing) ⚖️

이제 작업은 하드웨어에 배정되어야 합니다. 일반적인 로드 밸런서는 상태 확인 및 실시간 부하 신호를 사용하여 동일한 모델 복제본 전반에 요청을 분산시킵니다. 그러나 LLM(대규모 언어 모델) 서비스의 경우, 단순한 라운드 로빈 방식은 비효율적입니다. 동일한 긴 접두사(예: 동일한 시스템 프롬프트, 붙여넣기된 RFP)를 공유하는 두 요청은 동일한 복제본으로 보내져 값비싼 접두사 계산을 캐시에서 재사용하는 것이 이상적입니다. 따라서 최신 AI 로드 밸런싱은 캐시 인식 방식으로 진화하고 있으며, 이는 다음 단계인 추론 라우터와 기능이 겹치는 이유이기도 합니다. 로드 밸런서는 또한 백프레셔(backpressure)를 강제합니다. 즉, 서비스가 포화 상태일 때 요청을 큐에 넣을지, 아니면 429 오류를 반환할지 결정하는 구성 요소입니다.

3.5. 5단계: 추론 라우터 및 컴파일러 (Inference Router & Compiler) 🧠

라우터는 추론이 흥미로워지고, 상당한 총 마진이 결정되는 지점입니다. 몇 밀리초 안에 세 가지 질문에 답해야 합니다.

1. 어떤 모델을 사용할 것인가? 최신 70B 모델, 압축된 8B 모델, 추론 변형 모델, 또는 추측 드래프트+대상 모델 중 어떤 것이 서비스 수준 목표를 충족하는지에 따라 선택이 달라집니다. 70B 모델로 쿼리를 처리하는 것은 순전히 마진 손실을 초래할 수 있습니다.
2. 어떤 실리콘을 사용할 것인가? 이는 하드웨어 선택이며, 단계에 따라 달라집니다. 컴퓨팅 집약적인 프리필은 순수 FLOPs를 원하고, 메모리 대역폭 집약적인 디코드는 HBM(고대역폭 메모리) 대역폭을 원하므로, 단일 요청 내에서도 "올바른" GPU가 다를 수 있습니다.
3. 어떤 복제본을 사용할 것인가? 캐시 인식 라우팅은 이 접두사의 KV 캐시를 이미 가지고 있는 인스턴스로 요청을 보내, 12,000 토큰 프리필을 거의 무료인 캐시 히트로 전환시킵니다.

이 단계는 또한 컴파일러/자동 튜너 계층의 본거지이기도 합니다. 이 시스템들은 미리 주어진 모델, 형태, 칩에 맞는 정확한 GPU 커널을 컴파일하고 튜닝하며, 런타임에 가장 저렴한 실행 계획을 선택합니다. 이는 학문적인 문제가 아니라 사업입니다. Together AI, Fireworks, Baseten, Modular는 대부분 이 계층에서 구축되었으며, "어떤 칩에서 어떤 정밀도로 어떤 커널을 사용할 것인가"를 제품으로 만들고 자체 추론 인프라를 통해 수익을 창출합니다. 이 모델과 그 가치 평가는 여정의 마지막에서 다시 다룰 예정입니다.

3.6. 6단계: 스케줄러 및 연속 배치 (Scheduler & Continuous Batching) 🔄

GPU 경제성을 작동시키는 단일 구성 요소가 있다면, 그것은 스케줄러입니다. 단일 디코드 단계는 GPU를 치명적으로 비효율적으로 사용합니다. 배치 크기가 1일 때, H100은 메모리 부족으로 인해 스트리밍 멀티프로세서 활용률이 약 30~40%에 불과합니다. 스케줄러의 해답은 연속(반복 수준) 배치(continuous (iteration-level) batching)입니다. 고정된 배치 대신, 여러 시퀀스를 교차하고 모든 순방향 패스에서 새로 도착한 요청을 허용하고 완료된 요청을 제거하여 GPU를 패스마다 포화 상태로 유지합니다. 이 핵심 기술은 vLLM의 핵심이며, 이전 서비스 시스템보다 2~4배 높은 처리량과 동일한 H100에서 단순한 PyTorch 루프보다 3~5배 높은 트래픽을 제공합니다.

3.7. 7단계: KV 캐시 및 PagedAttention 🧠

이제 요청이 GPU에 도달했으며, 추론에서 가장 중요한 데이터 구조를 만납니다. 모든 어텐션 레이어 내부에서 각 토큰은 키(Key) 및 값(Value) 벡터를 생성합니다. N+1번째 토큰을 생성하려면 모델은 모든 이전 토큰의 K와 V에 어텐션을 기울여야 합니다. 따라서 각 단계에서 이를 다시 계산하면 O(n²) 비용이 발생하여 12,000 토큰 컨텍스트에서는 매우 비효율적입니다. 대신 이들은 캐시됩니다. 이것이 바로 KV 캐시입니다. 프리필은 12,022개 위치의 K/V를 한 번 계산하고 저장하며, 이후의 각 디코드 단계는 하나의 토큰의 K/V를 추가하고 나머지를 읽습니다. KV 캐시는 서비스 중 GPU 메모리의 가장 크고 동적인 소비자이며, 이를 잘 관리하는 것이 최신 추론 엔진의 핵심 기능입니다.

어려운 부분은 단편화입니다. 시퀀스는 예측 불가능한 길이로 증가하며, 고전적인 연속 할당 방식은 메모리의 60~80%를 낭비합니다. vLLM의 PagedAttention은 운영 체제의 가상 메모리 기법을 빌려왔습니다. KV 캐시를 고정 크기의 블록("페이지")으로 분할하고, 필요할 때 할당하며, 페이지 테이블을 통해 매핑합니다. 따라서 물리적 블록은 연속될 필요가 없으며, 완료된 시퀀스는 즉시 페이지를 해제합니다. 이것이 vLLM이 2~4배 높은 처리량을 제공하는 메커니즘이며, 많은 사용자의 시퀀스가 하나의 GPU를 안전하게 공유할 수 있도록 합니다.

3.8. 8단계: 프롬프트/프리픽스 캐싱 (Prompt/Prefix Caching) 💾

이러한 공유는 단순히 메모리 최적화가 아니라 가격과도 관련이 있습니다. 만약 많은 요청이 동일한 접두사(시스템 프롬프트, 긴 몇 샷(few-shot) 프롬프트, 붙여넣기된 RFP)를 가지고 있다면, 해당 접두사의 KV 캐시는 한 번 계산되어 여러 호출에 걸쳐 재사용될 수 있습니다. 제공업체들은 이를 프롬프트/프리픽스 캐싱이라는 이름으로 직접 판매하고 있습니다. Anthropic은 캐시된 읽기에 대해 입력 토큰의 0.1배(100만 토큰당 $0.30 대 $3.00)를 청구하며, OpenAI의 GPT-5.x 라인은 캐시된 입력에 대해 $0.50 대 $5.00로 가격을 책정합니다. 두 경우 모두 90% 할인이 적용되며, 긴 프롬프트에서는 약 85% 낮은 지연 시간을 제공합니다. 우리의 예시에서는 RFP를 캐싱하면 모든 후속 질문에 대해 12,022 토큰 프리필이 거의 무료인 캐시 히트로 전환됩니다.

3.9. 9단계: 양자화 (Quantization) 📉

서비스 GPU의 온패키지 메모리는 세 가지를 동시에 저장합니다.

• 모델 가중치(model weights): 고정되어 있습니다.
• KV 캐시(KV cache): 동시 시퀀스 수와 길이에 따라 증가합니다.
• 활성화 및 작업 공간(activations and workspace): 임시 데이터입니다.

가중치가 최소한의 공간을 차지하며, 나머지는 KV 예산으로 사용됩니다. 이 KV 예산(컴퓨팅이 아님)이 일반적으로 동시 처리량을 제한합니다. 70B 모델은 FP16에서 약 140GB를 차지하며, 로드하기 위해 두 개의 80GB H100이 필요합니다. FP8에서는 약 70GB로, 하나의 GPU에 KV 캐시를 위한 공간을 남기고 들어갈 수 있습니다. 이것이 양자화(quantization)가 빛을 발하는 첫 번째 지점입니다. 가중치에서 절약되는 모든 기가바이트는 KV 여유 공간이 되며, KV 여유 공간은 동시에 서비스할 수 있는 사용자 수를 의미합니다.

3.10. 10단계: 프리필 vs. 디코드 및 NVFP4 ⚔️

이것이 전체 시스템의 직관적이지 않은 핵심입니다. 프리필과 디코드는 완전히 다른 자원을 사용합니다.

• 프리필(Prefill)은 12,022개의 입력 토큰을 모두 병렬로 처리합니다. 이는 텐서 코어를 포화시키는 거대한 행렬 곱셈입니다. 즉, 컴퓨팅 집약적(compute-bound)이며, 첫 토큰 생성 시간(TTFT)을 결정합니다.
• 디코드(Decode)는 반대입니다. 각 다음 토큰 하나를 생성하기 위해 GPU는 모델의 전체 가중치 텐서(및 성장하는 KV 캐시)를 HBM(고대역폭 메모리)에서 매 토큰마다 한 번씩 스트리밍해야 합니다. 이 읽기 시간은 수학이 아니라 메모리 대역폭에 의해 고정됩니다. 배치 크기 1에서 디코드의 산술 강도(arithmetic intensity)는 바이트당 약 1 FLOP로, 410~590 FLOP/바이트의 최고 성능(roofline's ridge point)에 훨씬 못 미칩니다. 따라서 텐서 코어는 메모리를 기다리며 거의 완전히 유휴 상태로 있습니다.

그래서 업계는 정밀도 계단(precision ladder)을 내려가고 있습니다. FP16 → FP8 → FP4. 가중치당 비트 수가 적으면 토큰당 읽어야 하는 바이트 수가 줄어들어 메모리 대역폭에 묶인 디코드 상한을 직접적으로 높일 수 있습니다. NVIDIA의 NVFP4(블랙웰(Blackwell) 5세대 텐서 코어에 내장된 4비트 부동 소수점 형식)는 FP8보다 산술 처리량을 약 2~3배 높이고 메모리 사용량을 약 1.8배 줄이면서도 기준 정확도에서 약 1% 이내를 유지하여 호퍼(Hopper) 대비 최대 5배의 종단간 추론 속도 향상에 기여합니다. 비트가 줄어들 때마다 대역폭이 확보되고 토큰 비용이 저렴해집니다. 이는 건물에서 판매되는 제품 비용에 직접적으로 영향을 미 미치는 가장 강력한 수단입니다.

프리필은 컴퓨팅 집약적이며 첫 토큰 생성 시간을 결정합니다. 디코드는 메모리 대역폭 집약적이며 속도와 비용을 결정합니다. 추론의 거의 모든 기술은 이 디코드 메모리 장벽을 공격하는 것입니다. 더 큰 배치, 더 작은 양자화, 예측을 통한 선행 작업 등이 그 예입니다.

3.11. 11단계: 커널 퓨전 (Kernel Fusion) 융합 🧪

실행 계획은 이제 수학이며, GPU의 수학은 커널로 실행됩니다. 커널은 수천 개의 코어에서 실행되는 작은 프로그램입니다. 트랜스포머를 실행하는 가장 단순한 방법은 수백 개의 개별 커널을 실행하는 것인데, 각 커널은 HBM에서 입력을 읽고, 계산하고, 결과를 다시 기록합니다. 대역폭 집약적인 워크로드에서는 이러한 왕복 작업이 치명적입니다. 따라서 전체 기술은 커널 퓨전(kernel fusion)입니다. 여러 작업을 하나의 커널로 통합하여 중간 데이터를 빠른 온칩 SRAM에 유지하고 느린 HBM에 최대한 적게 액세스하는 것입니다. 대표적인 예는 FlashAttention입니다. FlashAttention은 온라인 소프트맥스(softmax)를 사용하여 어텐션 계산을 타일 방식으로 수행하여, HBM 읽기 및 쓰기를 시퀀스 길이의 제곱에서 선형으로 줄여 2~4배의 속도 향상을 제공합니다. FlashAttention-3은 호퍼(Hopper)의 비동기 엔진과 FP8을 활용하여 H100에서 840 TFLOPS에 도달했는데, 이는 최고 성능의 약 85%에 해당합니다.

3.12. 12단계: 추측 디코딩 (Speculative Decoding) 🔮

하나의 커널 수준 기술은 별도의 주목을 받을 만합니다. 단일 스트림 서비스에서 가장 높은 투자 수익률(ROI)을 자랑하는 최적화이기 때문입니다. 바로 추측 디코딩(speculative decoding)입니다. 디코드가 메모리 집약적이기 때문에(GPU는 매 단계마다 모든 가중치를 읽습니다), 한 토큰을 생성하는 것과 거의 동일한 비용으로 여러 후보 토큰을 확인할 수 있습니다. 작고 저렴한 드래프트(draft) 모델이 다음 K개의 토큰을 제안하고, 대규모 대상(target) 모델이 이를 모두 단일 병렬 패스로 확인하여 가장 긴 올바른 접두사를 수락합니다. 이 출력은 일반적인 디코딩과 수학적으로 동일하지만, 2~4배 더 빠릅니다. EAGLE-3와 같은 최신 방법은 드래프트 수락률을 75% 이상으로 높였습니다.

3.13. 13단계: 스케일업 네트워킹 (NVLink) 🔗

우리의 70B 모델은 단일 GPU에 맞지만, 최신 모델(수 조 개의 매개변수를 가진 모델, MoE(Mixture-of-Experts) 모델)은 여러 GPU에 분할(sharded)되어 있습니다. 이는 GPU들이 매 레이어, 매 토큰마다 서로 통신해야 한다는 것을 의미합니다. 사람들이 간과하는 부분은 바로 네트워킹이 디코드 루프 내부에 직접적으로 존재한다는 점입니다. 첫 번째 패브릭은 스케일업(scale-up), 즉 NVLink입니다. 이는 랙 내부의 여러 GPU를 하나의 논리적 가속기로 묶는 초고속 인터커넥트입니다. NVLink 5는 GPU당 1.8TB/s를 전송하며, 이는 PCIe Gen5 링크의 약 14배입니다. GB200 NVL72는 72개의 블랙웰 GPU와 36개의 Grace CPU를 단일 NVLink 도메인으로 연결하여 총 130TB/s 대역폭과 13.4TB의 통합 메모리를 제공합니다. 이 하나의 랙은 하나의 머신처럼 작동하며, H100 클러스터보다 수조 개의 매개변수를 가진 모델에서 최대 30배 높은 추론 처리량을 제공하는 동시에 약 120kW의 전력을 소비합니다.

왜 이렇게 극단적인 대역폭이 필요할까요? 병렬 처리 자체가 트래픽을 유발하기 때문입니다. 텐서 병렬 처리(Tensor parallelism)는 각 레이어의 행렬 곱셈을 여러 GPU에 분할하며, 매 곱셈 후 부분 결과는 all-reduce 집합체를 통해 합산되어야 합니다. 이것이 토큰당 여러 번 발생합니다. 더 나쁜 것은 MoE(Mixture-of-Experts) 모델은 각 토큰을 GPU 곳곳에 흩어져 있는 몇몇 전문가에게 라우팅하는데, 이는 all-to-all 통신을 유발하여 종종 지배적인 추론 병목 현상이 됩니다. DeepSeek의 프로덕션 스택은 노드당 8개의 400Gbps NIC와 맞춤형 라이브러리(DeepEP)를 사용하여 이 통신을 계산과 중첩시켜 GPU가 멈추지 않도록 합니다.

3.14. 14단계: 스케일아웃 네트워킹 (Ethernet & Optics) 🌐

패브릭에는 스위치가 필요합니다. 스케일업 도메인 내에서는 NVSwitch가 크로스바 역할을 합니다. 144개의 NVLink 포트와 14.4TB/s의 비차단 스위칭 기능을 갖추고 있어, 72개의 GPU가 모두 최고 속도로 동시에 통신할 수 있습니다. 랙을 넘어서는 스케일아웃 네트워크는 자체 스위치(NVIDIA의 Quantum-X800 (InfiniBand) 및 Spectrum-X800 (Ethernet) 또는 Broadcom의 Tomahawk 6 (102.4Tbps, 64 x 1.6T 포트))를 사용합니다. AI 스위치가 클라우드 스위치와 다른 두 가지 특징이 있습니다. 첫째, 레일 최적화 토폴로지(rail-optimized topology)입니다. GPU는 모든 서버의 n번째 GPU가 동일한 "레일" 스위치로 연결되도록 케이블링되어 집합체(collectives)에 대한 홉(hop) 수를 최소화합니다. 둘째, 인네트워크 컴퓨팅 및 혼잡 제어(in-network computing and congestion control)입니다. 스위치는 패브릭 내에서 감소(reductions)를 수행할 수 있으며(SHARP), 수천 개의 GPU가 동시에 한 단계를 마칠 때 발생하는 동기화된 "인캐스트(incast)"를 흡수해야 합니다. 하나의 혼잡한 링크는 전체 집합체를 멈추게 하므로(꼬리 지연(tail-latency) 문제), 적응형 라우팅은 필수적입니다.

GPU에서 다른 랙으로 나가는 패킷은 네트워크 인터페이스 카드(NIC)를 통과합니다. 2026년에는 거의 항상 SmartNIC 또는 DPU(NVIDIA BlueField 및 유사 제품)가 사용됩니다. 핵심 기능은 RDMA over Converged Ethernet (RoCE) 또는 InfiniBand verbs입니다. 이는 원격 GPU가 이 GPU의 메모리를 직접 읽을 수 있도록 하여, CPU를 우회하고 현재 400Gb/s이며 800Gb/s가 표준이 되고 있습니다. 그러나 DPU는 NIC에 있는 완전한 프로그래밍 가능한 컴퓨터입니다. 혼잡 제어, 암호화, 스토리지 가상화, 다중 테넌트 격리 등을 호스트 CPU로부터 오프로드합니다. 레일 최적화 클러스터에서는 각 GPU가 전용 NIC를 소유하는 경우가 많습니다. DeepSeek은 8개의 GPU를 8개의 400Gb/s NIC와 쌍으로 연결하여 가속기가 온램프(on-ramp)를 공유하지 않도록 합니다. 이곳이 "네트워크"가 바이트에 대해 물리적으로 시작되는 지점이며, 우리의 데이터 중력(data-gravity) 주제가 문자 그대로 적용되는 경계입니다.

역사적으로 AI 클러스터는 약 1~2µs의 지연 시간과 무손실 패브릭을 제공하는 InfiniBand에서 실행되었습니다. RoCEv2를 사용하는 이더넷은 약 5~10µs의 지연 시간을 보였고 훈련에는 2급으로 취급되었습니다. 그러나 이러한 계층 구조는 역전되고 있습니다. Ultra Ethernet Consortium (UEC)은 2025년 6월에 UEC 1.0을 발표했습니다. 이는 AI를 위한 이더넷 스택을 재구축한 560페이지가 넘는 사양으로, 지연 시간과 안정성 격차를 줄였습니다. Dell'Oro는 2027년까지 이더넷이 AI 백엔드 네트워크에서 InfiniBand를 추월할 것으로 예상합니다. 800G는 이미 기본 포트 속도이며, Broadcom의 Tomahawk 6은 102.4Tbps를 자랑합니다. 특히 추론의 경우(비용에 민감하고, 다중 테넌트이며, 기업 관련) 이더넷의 경제성과 개방형 생태계가 결정적입니다.

이 패브릭 아래에는 가장 덜 논의되는 비용 센터인 광학 부품(optics)이 있습니다. 광학 트랜시버는 네트워킹 비용의 약 60%와 네트워킹 전력의 45%를 차지합니다. 네트워킹이 전체 클러스터 비용의 약 15~18%를 차지한다는 점을 고려하면, 광학 부품 단독으로도 전체 비용의 거의 10%에 달합니다. 단일 800G 플러그형 트랜시버는 스위치에서 500W 이상을 소비할 수 있으며, 이는 스위치 ASIC 자체보다 많습니다. AI 광학 트랜시버 시장은 2025년 약 165억 달러에서 2026년 약 260억 달러(전년 대비 57% 증가)로 성장할 것으로 예상됩니다. 구조적인 해결책은 코패키징 광학(co-packaged optics, CPO)입니다. 이는 광학 부품을 스위치 패키지 위에 직접 옮겨 1.6T 링크의 전력 소비를 약 30W에서 9W로 줄이는 것입니다. NVIDIA는 2026년 하반기에 출시될 포토닉스 스위치에서 5배의 전력 효율성과 10배의 복원력을 주장하고 있습니다.

단일 GPU에 너무 큰 모든 모델의 경우, 네트워크는 디코드 루프 내부에 존재합니다. 모든 레이어, 모든 토큰에서 실행됩니다. 스케일업(NVLink)과 스케일아웃(이더넷) 간의 약 20~40배 대역폭 차이를 관리하는 것이 핵심입니다.

3.15. 15단계: 디토큰화 및 빌링 마감 🧾

마지막 토큰이 생성되면, 여정은 역순으로 진행됩니다. 디토큰화(Detokenization)는 정수 ID를 다시 텍스트로 매핑하고, 답변은 NIC, 스위치, 로드 밸런서, 게이트웨이를 거쳐 사용자에게 토큰 단위로 스트리밍됩니다. 일반적으로 서버 센트 이벤트(server-sent events)를 통해 이루어지므로, 토큰이 생성되는 즉시 나타납니다. 이것이 바로 첫 토큰 생성 시간(TTFT)이 인지되는 속도를 지배하는 이유입니다. 사용자는 전체 답변이 몇 초가 걸리더라도 약 0.3초 만에 읽기 시작합니다. 마지막 단계는 빌링을 마감하는 것입니다. 입력 토큰(캐시되었을 수 있음), 출력 토큰(비용이 비싼 토큰)은 3단계에서 인증이 할당한 등급으로 가격이 책정됩니다. 15단계를 거쳐 하나의 답변이 완성되는 것입니다.

4. 추론 최적화의 핵심: 이기종 워크로드 스케줄링 🧑‍💻

15단계를 다시 살펴보면, 어려운 문제들(배치, KV 페이징, 프리필 vs 디코드, 하드웨어 선택, 집합 통신)은 모두 궁극적으로 하나의 문제로 귀결됩니다. 바로, 값비싼 실리콘을 포화 상태로 유지하기 위해 메모리 및 네트워크 계층 구조 전반에 걸쳐 이기종 워크로드를 스케줄링하는 것입니다. 2026년의 해답은 분리된 서비스(disaggregated serving)입니다. 컴퓨팅 집약적인 프리필과 메모리 집약적인 디코드를 별도의 GPU 풀로 분할하여 각각 독립적으로 스케일링하고 튜닝하며, KV 캐시를 이들 간에 스트리밍하는 방식입니다. 이는 현재 NVIDIA Dynamo, vLLM, SGLang, llm-d, Mooncake 등에서 표준이 되고 있습니다.

이 분야에서 가장 흥미로운 회사들은 5단계와 10단계(컴파일러, 커널, 자동 튜너 계층)에 위치해 있습니다. 이들은 모두 동일한 사실을 발견했습니다. 즉, 더 나은 커널로 수익을 창출하는 방법은 라이선스를 부여하는 것이 아니라 직접 실행하는 것입니다. 추론 인프라를 소유하고 토큰을 판매하며, 효율성 차이를 총 마진으로 가져가는 것이죠. 이 논리는 완벽합니다. 커널, 배치, 양자화 또는 추측 디코딩에서 2배의 효율성을 달성할 때마다 GPU당 2배 더 많은 토큰을 처리할 수 있으며, GPU를 직접 운영하는 경우 이는 벤치마크를 발표하는 것보다 훨씬 더 큰 마진으로 이어집니다. 모든 모델 × 형태 × 칩에 대해 가장 저렴한 커널을 컴파일하는 자동 튜너는 사실상 플릿에 부착된 돈벌이 기계와 같습니다.

이러한 성과 지표가 바로 이 주장의 핵심입니다. Baseten의 연간 매출액은 2025년 12월 약 2억 달러에서 2026년 3월 약 6억 달러로 증가했는데, 이는 연간 약 1,900%의 성장률입니다. 이 회사는 5개월 전 50억 달러에서 110억~130억 달러로 평가받으며 15억 달러 규모의 투자를 유치했습니다. 그리고 Modular가 약 39억 달러에 Qualcomm에 인수된 것은 가장 명확한 신호입니다. 이는 칩 제조업체가 NVIDIA의 가장 취약한 부분을 공격하기 위해 하드웨어에 구애받지 않는 컴파일러 회사를 인수했음을 의미합니다.

5. 추론 서비스 구매 시 고려사항 꼼꼼히 살펴보기 🤔

직접 구축하는 대신 추론 서비스를 구매한다면, 15단계 기계는 단순히 구매 결정으로 압축됩니다. 가장 흔한 실수는 백만 토큰당 헤드라인 가격에 최적화하는 것입니다. 추상적으로 "최고의 제공업체"는 없으며, 오직 워크로드 형태에 가장 적합한 제공업체만 존재합니다. 실시간 음성 에이전트, 야간 배치 요약기, 다단계 자율 에이전트, HIPAA 규정을 준수하는 기업 앱은 동일한 기준을 완전히 다르게 평가합니다. 다음 프레임워크는 프로덕션 환경에서 검증된 기준입니다.

• 지연 시간(Latency)은 두 가지 숫자로 구성됩니다.

  • 첫 토큰 생성 시간(Time-to-first-token, TTFT)은 답변이 얼마나 빨리 시작되는지를 결정합니다.
  • 토큰 간 지연 시간(inter-token latency) 또는 출력 속도는 답변이 얼마나 빨리 완료되는지를 결정합니다. 어떤 제공업체는 하나를 잘하고 다른 하나를 못할 수 있으며, 사용자 경험에 중요한 것은 p99 테일(p99 tail)이지 중간값(median)이 아닙니다. p50은 훌륭하지만 p99가 좋지 않으면 눈에 띄는 멈춤이 발생합니다. 일반적인 GPU 추론은 약 400~600ms 내에 첫 토큰을 생성하지만, Groq 및 Cerebras와 같은 빠른 실리콘 클라우드는 TTFT를 100~150ms 미만으로 압축하고, Llama-70B급 모델에서 초당 1,600~2,100+ 토큰의 출력 속도를 제공합니다. 이는 일반적인 GPU 스택보다 약 4~6배 빠른 속도입니다.

• 비용(Cost)은 제시된 가격이 아닌 혼합된 가격입니다.

  • 정상 가격은 백만 토큰당 입력 및 출력으로 두 가지 숫자로 구성되며, 출력 비용이 입력 비용의 4~5배로 일반적으로 더 지배적입니다. 실제 단위 비용은 입력:출력 비율, 캐시 히트율(프롬프트 캐싱은 입력을 50~90% 절감), 그리고 작업에 배치 계층을 사용할 수 있는지 여부(종종 50% 저렴)에 따라 달라집니다. 2026년 중반의 공개 요금은 최적화된 오픈 모델 엔드포인트(DeepInfra; Groq의 $0.15/$0.60)에서 백만 토큰당 약 $0.04~$0.20에 불과한 반면, 최첨단 모델의 경우 백만 토큰당 수 달러에 이릅니다. 따라서 동일한 헤드라인 가격을 가진 두 제공업체라도 실제 트래픽에서는 3배의 차이가 날 수 있습니다.

• 신뢰성(Reliability)은 가동 시간 비율 그 이상입니다.

  • 공식 SLA(Azure OpenAI는 토큰 생성에 대해 99.9%를 발표하고, 기업들은 호출의 99.99%에 대해 200ms 미만의 TTFT와 같은 지연 시간 SLA를 요구합니다)는 필수적이지만 충분하지 않습니다. 실제로 제품을 망가뜨리는 장애 모드는 SLA 외부에 있습니다. 바로 거부 급증, 평가 지표를 저하시키는 조용한 모델 버전 변경, 부하 시 할당량 기반 제한 등입니다. 공급업체가 99.95%의 가동 시간을 준수하더라도 이러한 문제로 인해 애플리케이션이 저하될 수 있습니다. 따라서 성숙한 답변은 모델 버전을 고정하고, 용량을 협상하고, 기능적 가용성을 직접 모니터링하는 것입니다.

지연 시간, 비용, 신뢰성 외에도 7가지 기준이 프로덕션 환경 적합성을 결정합니다.

• 처리량 및 비율 제한(Throughput & rate limits): 분당 토큰 제한 및 버스트 여유 공간은 에이전트 확장 및 규모를 제한합니다.
• 보안 및 규정 준수(Security & compliance): SOC 2 Type II, HIPAA, ISO 27001, GDPR은 규제 산업에서 필수적이며 뒤늦게 적용하기 어렵습니다.
• 데이터 상주 및 프라이빗 배포(Data residency & private deployment): 제로 보존 보장, VPC/BYOC, 온프레미스 배포는 기업 조달의 필수 조건입니다. 대부분의 소비자 등급 엔드포인트는 보존 정책이 모호하며 사설 경로를 제공하지 않아 조용히 자격을 상실합니다.
• 결정론 및 버전 제어(Determinism & version control): 고정된 시드, 고정된 체크포인트는 평가 스위트가 조용히 표류하는 것을 방지합니다.
• 모델 커버리지 및 최신성(Model coverage & freshness): 모델의 다양성, 새로운 오픈 웨이트에 대한 초기 지원, 미세 조정/LoRA 호스팅은 최신 기술을 얼마나 빨리 도입할 수 있는지를 결정합니다.
• 배포 유연성(Deployment flexibility): 서버리스 vs 전용 vs 자체 호스팅은 비용/제어 트레이드오프를 결정합니다.
• 이식성(Portability): OpenAI 호환 API 및 깔끔한 다중 공급업체 라우팅은 위 모든 문제가 발생했을 때의 보험입니다.

먼저 워크로드 유형을 선택하고, 그 다음 쇼핑하세요. 입력:출력 비율, 캐시 히트율, 그리고 p99 테일을 포함하는 지연 시간 SLA 없이는 백만 토큰당 헤드라인 가격은 거의 무의미합니다.

대부분의 팀이 어렵게 배우는 신뢰성 함정 공급업체의 99.95% 가동 시간은 실제 문제를 일으키는 실패를 포괄하지 못합니다. 예를 들어, 평가 점수를 폭락시키는 조용한 모델 변경, 안전 업데이트 후 거부율 급증, 또는 트래픽이 최고조에 달할 때의 할당량 제한 등이죠. SLA를 최저 기준으로 삼고, 모델 버전을 고정하며, 기능적 가용성을 직접 모니터링해야 합니다.

6. 결론: AI 인프라 시장의 미래 전망 🔮

세 가지 결론을 내릴 수 있습니다. 첫째, 물리적 병목 현상은 복합적입니다. HBM 대역폭이 디코드 상한선을 정하고, NVLink 스케일업 도메인은 진정으로 독점적이며, 광학 및 전력이 부족한 자원입니다. 7,250억 달러 자본 지출의 60% 이상이 이미 전력과 건물에 사용되고 있으며, 이는 와트당 토큰이 궁극적인 지표임을 의미합니다. 둘째, 네트워크는 양분되고 있습니다. 스케일업은 폐쇄적이고 방어적인 상태를 유지하는 반면, 스케일아웃은 개방적(이더넷/UEC)이고 상품화되고 있습니다. 따라서 경쟁 우위는 스케일업 도메인, 광학/CPO, 그리고 혼잡 IP에 있으며, 상품 스위칭에는 없습니다. 셋째, 추론 소프트웨어 계층은 실재하지만 경쟁이 치열합니다. 마진은 효율성 차이 × 활용률 × 규모와 같으며, 가격 붕괴로 인해 순수 성능이 기본 조건이 되기 전에 플레이어가 속도를 유통 및 전환 비용으로 전환했을 때만 지속 가능합니다.

2027년까지는 병목 현상에 투자해야 합니다. 즉, 메모리 및 대역폭, 스케일업 인터커넥트, 광학 및 전력에 말이죠. 그리고 효율성을 통해 잠금 효과를 이미 만들어낸 추론 플랫폼에 투자하세요. 순수 속도만을 내세우는 모든 주장에는 회의적이어야 합니다. 왜냐하면 순수 속도는 컴파일러 계층과 NVIDIA의 무료 도구들이 상품화하고 있는 바로 그 부분이기 때문입니다. 토큰 경제는 엄청난 규모가 될 것입니다. Google 토큰이 2년 만에 월 9.7조 개에서 3.2 경 개로 증가한 것은 되돌릴 수 없는 추세입니다. 그러나 '엄청난 규모'와 '높은 마진'은 다른 이야기이며, 15단계의 여정이 바로 그 차이를 결정합니다.

결론적으로: 물리적 병목 현상(메모리 대역폭, 스케일업 인터커넥트, 광학, 전력)과 효율성을 통해 잠금 효과를 만들어낸 플랫폼에 투자하세요. 오직 더 빠르다는 것만을 내세우는 주장은 의심하세요. 그것은 컴파일러 계층과 NVIDIA의 무료 도구들이 상품화하는 부분입니다.

하나의 토큰을 따라가면 전체 경제가 명확해집니다.