#TPU

“ AI 시대 핵심 동력인 칩 시장에서 Nvidia의 재부상 가능성이 제기됩니다. 칩의 짧은 수명 주기와 지속적인 교체 수요 증가가 Nvidia에게 유리하게 작용할 것이며, 향후 칩 관련 투자는 인프라 투자 비중을 넘어설 전망입니다. 한국 반도체 기업에게는 HBM 수요 증가와 자체 칩 설계 역량 강화의 기회가 될 수 있습니다. ” 전문가 통찰 및 한줄평 (Insight) AI 시대의 핵심 동력인 칩 경쟁 구도에 새로운 변수가 등장하며, 그동안 GPU에 집중되었던 투자 흐름이 향후 어떻게 변화할지 주목해야 한다. 특히 엔비디아가 다시 한번 시장을 주도할 수…

LLM 추론 속도, 3배 끌어올린 혁신? 현재 대규모 언어 모델(LLM) 추론 가속 분야는 순차적인 ‘자가회귀적 추측 디코딩’ 방식이 주를 이루고 있습니다. 경량화된 ‘드래프터’ 모델이 토큰을 예측하고, 이를 메인 모델이 검증하는 방식입니다. 하지만 이 방식은 K개의 후보 토큰을 생성하기 위해 K번의 순차적인 연산이 필요하다는 근본적인 병목 현상을 안고 있습니다. 즉, 각 토큰 예측이 완료되어야 다음 단계로 넘어갈 수 있어 추측 단계에서의 속도 향상 잠재력을 제한하는 요인이 됩니다. 이러한 한계를 극복하기 위해 연구자들은 기존의 토큰 단위 예측 방식을 넘어, ‘블록 확산(block diffusion)’이라는…