메모리 산업의 전략: 부품에서 운영 계층으로.

하지만 그때마다 하드웨어는 비교적 빠르게 따라잡았다.

초기의 개인용 컴퓨터를 생각해 보자. 사운드 카드, 그래픽 카드, 네트워크 카드, 비디오 캡처 카드, 다양한 입출력 카드가 각각 별도의 구성요소로 존재했다. 컴퓨터는 여러 전문 보드를 꽂아 조립하는 모듈형 시스템에 가까웠다.

반도체 제조와 집적 기술이 발전하면서 이러한 기능들은 점차 메인보드로 이동했고, 다시 칩셋으로 들어갔으며, 결국 하나의 칩 안으로 통합되었다.

그 결과가 시스템온칩, 즉 SoC의 시대였다.

SoC는 CPU, 메모리 컨트롤러, 입출력, GPU, 통신 기능 등 시스템의 핵심 구성요소를 하나의 칩 또는 패키지 안에 통합한다. 오늘날 이 모델의 정점이라고 할 수 있는 모바일 SoC는 CPU, GPU, NPU, 모뎀, 이미지 신호 프로세서 등 수많은 기능을 하나의 통합 플랫폼으로 결합하며 발전해 왔다.

이러한 통합은 매우 강력한 장점을 제공했다.

첫째, 모듈 간 물리적 거리가 짧아지면서 데이터를 이동시키는 비용이 줄었다. 둘째, 모듈 간 통신이 더 빨라져 전력 효율이 향상되었다. 셋째, 시스템 설계가 단순해지면서 비용이 낮아졌다. 넷째, 사용자는 더 작고, 더 저렴하며, 더 신뢰성 높은 기기를 사용할 수 있게 되었다.

이 시기 가장 강력한 기업들은 최대한 많은 기능을 하나의 칩 안에 통합할 수 있는 기업들이었다. 특히 호스트 중심의 CPU 또는 SoC 아키텍처를 장악한 기업들이 전체 시스템을 정의할 힘을 가졌다.

마스터 제어권을 가진 프로세서는 주변의 지식재산, 즉 IP를 점차 흡수했다. 그래픽, 오디오, 네트워킹, 입출력, 보안, 그리고 결국 AI 가속기까지 모두 같은 플랫폼 안으로 들어왔다.

따라서 역사적 성공 공식은 다음과 같이 요약할 수 있다.

분산된 기능을 한곳으로 모아라. 서로 가깝게 배치하라. 데이터 이동을 줄여라. 그러면 더 빠르고, 더 저렴하며, 더 나은 시스템이 만들어질 것이다.

그러나 트랜스포머 이후 이 공식은 무너지기 시작했다.

2017년에 소개된 트랜스포머는 순환과 합성곱 중심의 아키텍처를 어텐션 중심의 아키텍처로 대체했다. 이를 통해 대규모 병렬 학습과 전례 없는 모델 확장이 가능해졌다.

2020년대 초반, 스케일링 법칙에 관한 연구는 모델 크기, 데이터셋 크기, 학습 연산량이 증가할수록 성능이 비교적 예측 가능한 방식으로 향상되는 경향을 보여주었다. OpenAI의 스케일링 법칙 연구는 손실값이 모델 크기, 데이터셋 크기, 연산량과 거듭제곱 법칙 관계에 따라 감소한다는 점을 보였다. 이후 Chinchilla 연구는 고정된 연산 예산 안에서 모델 크기와 학습 토큰 수가 어떻게 균형을 이루어야 하는지 검토하며 논의를 정교화했다.

이 시점 이후 소프트웨어, 더 정확히 말하면 AI 모델이 시스템에 부과하는 요구사항이 하드웨어 발전 속도를 앞지르기 시작했다.

그 격차는 너무 커져서 이제는 서버 아키텍처조차 해마다 바뀌어야 하는 수준에 이르렀다.

전통적인 소프트웨어는 일반적으로 CPU가 더 빨라지고, 메모리 용량이 증가하며, 스토리지 시스템이 개선되면 수용할 수 있었다. 그러나 대규모 언어 모델은 근본적으로 다르다. 모델 크기, 컨텍스트 길이, 학습 데이터, 추론 토큰, 동시 사용자 수, KV 캐시 요구량이 모두 동시에 증가하고 있다.

이 성장이 둔화될 조짐은 거의 보이지 않는다. 더 중요하게는 시장 자체가 이러한 더 큰 모델을 적극적으로 요구하고 있다.

추론 시스템에서는 KV 캐시가 특히 중요한 새로운 병목으로 부상했다.

LLM 서빙에 관한 연구들은 KV 캐시가 동적으로 증가하고, 요청마다 크기가 달라지며, 긴 컨텍스트와 높은 동시성 워크로드에서 상당한 메모리 소비와 단편화를 초래한다는 점을 지적해 왔다.

vLLM의 PagedAttention은 바로 이 KV 캐시 관리 문제를 중심으로 개발되었다. 이는 KV 캐시 메모리를 블록 단위로 관리함으로써 낭비를 줄이고, 요청 간 메모리 공유를 가능하게 한다.

문제는 여기서 끝나지 않는다.

에이전틱 AI로 이동할수록 메모리는 더욱 중요해진다.

에이전트는 하나의 질문을 받고 하나의 답을 내놓는 시스템이 아니다. 에이전트는 계획을 세우고, 도구를 호출하고, 결과를 읽고, 다시 판단하며, 실패하면 재시도하고, 때로는 역할을 나눈 여러 에이전트와 협업한다.

이 과정은 긴 컨텍스트를 필요로 한다. 이전 결정의 근거가 되는 추론 기록을 필요로 한다. 도구 호출 이력, 사용자별 장기 기억, 여러 에이전트가 공유하는 작업 상태를 필요로 한다.

에이전틱 AI에서 메모리는 더 이상 단순한 보조 자원이 아니다. 시스템의 핵심 운영 자원이 된다.

따라서 컴퓨터 시스템은 역사적 방향과 반대로 움직이며 다시 분산되고 있다.

LLM 서빙에서는 이미 프리필과 디코딩의 분리가 중요한 아키텍처 흐름으로 등장했다. 긴 입력 컨텍스트를 한 번에 처리하는 프리필과 토큰을 하나씩 생성하는 디코딩은 근본적으로 서로 다른 연산 특성을 보인다.

DistServe와 같은 연구는 LLM 서빙 성능을 개선하기 위해 프리필과 디코딩을 분리하는 방안을 제안했다.

최근에는 어텐션과 피드포워드 네트워크, 즉 FFN을 분리하려는 시도도 등장했다.

어텐션은 KV 캐시 크기와 컨텍스트 길이에 매우 민감한 메모리 중심 연산이다. 반면 FFN은 상대적으로 연산 집약적이다. 2026년에 발표된 연구는 어텐션-FFN 분리를 “상태가 많고 KV 캐시에 지배되는 어텐션”과 “상태가 없고 연산 집약적인 FFN”을 분리하는 새로운 아키텍처로 설명했다.

요약하면, 과거의 목표는 모든 작업을 잘 수행할 수 있는 하나의 범용 시스템을 만드는 것이었다.

이제 목표는 각 워크로드의 특성에 최적화된 별도의 시스템을 만들고, 이들을 효과적으로 연결하는 방향으로 바뀌고 있다.

연산은 연산에 최적화되어야 한다. 메모리는 메모리에 최적화되어야 한다. 스토리지는 스토리지에, 네트워크는 통신에 최적화되어야 한다. 그리고 이러한 자원들은 각 서비스의 요구에 따라 실시간으로 동적으로 구성되어야 한다.

바로 여기서 메모리 랙, 메모리 풀, 서비스형 메모리 같은 개념이 자연스럽게 등장한다.

서비스형 메모리의 필요성은 단순히 “메모리를 구독 모델로 판매한다”고 설명해서는 충분히 이해될 수 없다.

핵심은 메모리를 특정 서버나 칩에 물리적으로 고정된 자원으로 취급하는 사고를 멈추는 데 있다. 대신 메모리는 여러 컴퓨팅 시스템이 필요에 따라 접근하고, 공유하고, 재사용하고, 격리할 수 있는 서비스형 자원이 되어야 한다.

이 목표를 달성할 수 있는 잠재적 기술 중 하나가 Compute Express Link, 즉 CXL이다.

CXL은 일반적으로 CPU, 메모리 확장 장치, 가속기 간의 캐시 일관성을 지원하는 인터커넥트로 설명된다. 이는 자원 공유, 메모리 풀링, 메모리 확장을 가능하게 하는 중요한 기술로 널리 논의되고 있다.

CXL 컨소시엄 역시 CXL을 프로세서, 메모리 장치, 가속기 사이의 효율적 통신과 자원 공유를 가능하게 하는 기술로 설명한다. Microsoft Research의 CXL 개요는 서버 메모리 용량 및 대역폭 확장, 그리고 다중 서버 자원 풀링과 공유를 핵심 활용 가능 사례로 제시한다.

이 관점에서 보면, 미래 데이터센터에 거의 메모리로만 구성된 서버 또는 랙 전체가 존재하고, 여러 컴퓨팅 노드가 이를 공유하게 될 가능성은 충분히 현실적이다.

어떤 에이전트는 고속 로컬 HBM을 사용할 수 있고, 다른 에이전트는 CXL 기반 메모리 풀에 의존할 수 있다. 어떤 형태의 장기 기억은 더 느리지만 훨씬 큰 스토리지 계층에 위치할 수 있다. 자주 재사용되는 컨텍스트나 KV 캐시는 더 가깝고 빠른 계층으로 승격될 수 있다.

따라서 메모리는 더 이상 GPU 옆에 붙어 있는 단순한 구성요소로 머물 수 없다.

에이전틱 AI 시대에 메모리는 그 자체로 하나의 운영 계층이 된다.

하지만 여기에는 매우 중요한 지점이 하나 있다.

분산은 단순히 시스템을 물리적으로 분리한다고 달성되는 것이 아니다.

모든 것이 통합되어 있을 때에는 모듈 간 통신 비용이 낮고 제어도 비교적 단순하다. 시스템이 분산되면 연결성, 스케줄링, 데이터 이동, 일관성, 보안, 장애 복구, 비용 최적화와 관련된 새로운 문제가 등장한다.

프리필과 디코딩의 분리는 이를 명확히 보여준다. 프리필과 디코딩이 분리되는 순간, 시스템은 각 요청을 어디로 보낼지, 트래픽이 급증할 때 부하를 어떻게 분산할지, KV 캐시를 어떻게 전송할지, 첫 토큰까지의 시간과 출력 토큰당 시간 같은 사용자 경험 지표를 어떻게 유지할지 결정해야 한다.

같은 도전은 어텐션-FFN 분리에도 적용된다.

관련 연구들은 컨텍스트 길이가 길어질수록 어텐션 워크로드가 불규칙하고 비정상적으로 변하는 반면, FFN 워크로드는 상당히 다른 특성을 보인다고 지적한다. 어텐션과 FFN 자원의 비율이 잘못 구성되면 유휴 시간과 대기가 증가할 수 있다.

서비스형 메모리 역시 정확히 같은 도전에 직면한다.

메모리를 단순히 분리한다고 해서 자동으로 더 나은 시스템이 만들어지는 것은 아니다. 실제로 분산은 훨씬 더 어려운 질문들을 만들어낸다.

어떤 메모리를 공유해야 하는가? 어떤 메모리는 절대 공유해서는 안 되는가? KV 캐시는 요청, 사용자, 에이전트 사이에서 어느 정도까지 재사용해야 하는가? 장기 기억은 단기 컨텍스트와 어떻게 분리해야 하는가? 핫 메모리와 콜드 메모리는 어떤 계층으로 구성해야 하는가? 원격 메모리 접근 지연을 감추기 위해 어떤 알고리즘을 사용해야 하는가? 시스템은 서비스 수준 목표와 비용 제약을 어떻게 동시에 만족시킬 수 있는가? 보안과 격리는 어떤 단위로 강제되어야 하는가?

이 질문들은 새로운 하드웨어 개념을 실제로 작동 가능한 시스템으로 만들기 위해 서비스 설계와 소프트웨어 지원이 필수적임을 보여준다.

이 문제들은 하드웨어, 시스템 소프트웨어, 모델 서빙, 에이전트 오케스트레이션, 메모리 알고리즘 전반에서 함께 해결되어야 한다.

이 때문에 서비스형 메모리는 단순히 우수한 메모리 칩을 제조하는 것만으로 만들어질 수 없다.

세계적 수준의 메모리 역량을 가진 국가라면 다음 단계는 분명해야 한다.

우리는 고품질 HBM을 만드는 데서 더 나아가, AI 서비스가 그 메모리를 실제로 어떻게 사용해야 하는지를 질문하기 시작해야 한다. 에이전틱 AI 워크로드를 분석하고, 컨텍스트와 KV 캐시의 생애주기를 이해하며, 메모리 풀링과 공유 정책을 개발하고, CXL 또는 미래의 메모리 패브릭 위에서 실제 서비스 성능을 향상시키는 알고리즘을 설계해야 한다.

안타깝게도 광범위하게 찾아보아도, 차세대 메모리에 관한 논의조차 아직 서비스 요구사항과 다양한 서비스 시나리오에 기반한 분석이 충분하지 않은 것으로 보인다.

어떤 메모리 자원을 누가 사용할 것인지, 언제 사용할 것인지, 어떤 단위로 사용할 것인지, 어떤 권한 아래 사용할 것인지, 어떤 비용 구조로 사용할 것인지, 어떤 성능 목표를 추구할 것인지를 결정하려면 실제 서비스에 대한 깊은 전문성과 실무 경험이 필요하다.

그것이 진정한 서비스형 메모리를 만들기 위한 최소 조건일지도 모른다.

본문

지금까지의 주장은 다음과 같이 요약할 수 있다.

컴퓨터 시스템에서 역사적 성공 공식은 통합이었다.

분산되어 있던 기능들은 하나의 칩 안으로 통합되었다. 점점 더 많은 IP가 호스트 중심 아키텍처 아래 배치되었고, 모듈 간 물리적 거리를 줄이는 것이 경쟁 우위의 원천이 되었다.

그러나 트랜스포머와 에이전틱 AI 이후 성공 공식은 바뀌고 있다.

이제 시스템은 다시 분산되어야 한다.

하지만 이는 개별 구성요소들이 단순히 고립된 부품으로 존재하던 과거의 분산 형태로 돌아가는 것이 아니다. 새로운 시대의 분산은 고속이어야 하며, 지능적으로 공유되어야 하고, 서비스 요구사항에 따라 동적으로 최적화되어야 한다.

연산과 메모리는 분리될 수 있다. 프리필과 디코딩은 분리될 수 있다. 어텐션과 FFN은 분리될 수 있다. 단기 컨텍스트와 장기 기억은 분리될 수 있다.

이렇게 분산된 자원들을 일관된 하나의 서비스로 다시 결합하는 오케스트레이션과 알고리즘이 새로운 핵심 경쟁력의 원천이 될 것이다.

따라서 에이전틱 AI 시대의 시스템 경쟁력은 두 가지 능력을 동시에 요구한다.

첫째는 메모리와 인터커넥트 기술을 포함한 하드웨어 경쟁력이다.

둘째는 그 하드웨어를 실제 AI 서비스 성능으로 전환하는 데 필요한 알고리즘 및 시스템 최적화 역량이다.

한국이 진정으로 메모리 분야의 글로벌 리더로 남고자 한다면, “우수한 메모리 반도체를 제조하는 나라”를 넘어 “AI가 그 누구보다 메모리를 더 잘 사용하도록 만드는 나라”가 되어야 한다.

통합의 시대에는 더 많은 기능을 칩 안에 넣을 수 있는 기업들이 승자였다.

분산의 시대에는 분산된 자원을 가장 지능적으로 연결하고, 공유하고, 최적화할 수 있는 기업들이 승자가 될 수 있다.

역설적으로, 분산으로 정의되는 시대일수록 전체 시스템을 이해하고 설계하는 능력은 더욱 중요해질 수 있다.

컴퓨터 시스템의 성공 공식이 '통합'에서 '분산'으로 뒤집혔다