Gorilla PE Insights · Beyond 시리즈 · 2편
스케일링 벽 너머, 미답의 99.99% — 학습 데이터 폭발과 메모리 수요의 이중 비대칭
[Abstract]
2024년 후반부터 시장에는 "공개 데이터가 saturate(포화) 상태에 다다랐으니 LLM 학습 시대는 끝나간다, 그래서 시장은 추론 시대로 이동했고, 추론 시대의 핵심 부품인 HBM 사이클은 정점에 다다랐다"는 4단계 결론 명제가 자리 잡았다. 각 단계마다 부분적 사실이 담겨 있지만, 단계와 단계 사이에는 결정적 논리 비약이 존재하는 결합 명제로 판단한다. 각 단계의 사실과 비약을 정량적으로 분해하면 다음과 같다.
분석 결과: (1) saturate된 영역은 공개 인터넷 텍스트 한 종류의 데이터 소스에 한정되며, 이는 인류가 생성하는 전체 데이터의 약 0.01%에 그친다. 스케일링 법칙은 유지됐고, 학습 데이터의 고갈 역시 사실이 아니다. (2) 학습은 종료 단계에 진입한 것이 아니라, 오히려 이제 시작되는 단계다. 나머지 99.99%(기업 비공개 데이터·물리 세계 데이터·전문가 추론 trace·AI-증폭 외재화)의 잠금 해제가 본격적으로 진행되는 시점에 들어섰으며, 그 결과 시장이 인지한 추론 측 폭발과 별개로, 학습 측 메모리 수요가 재점화될 가능성이 부상한다. (3) AI 인프라의 병목은 HBM 단일 layer가 아니라, 5개의 새로운 Wall이 동시에 부상하는 구조다 — 디코드 Wall, 롱컨텍스트 Wall, 연합학습 Wall, 프라이버시 컴퓨트 Wall, 스토리지 Wall. (4) 한국 메모리 양사는 HBM 단일 베팅의 대상이 아니라, 4개 층위 메모리에서 구조적 관문 포지션을 점유하고 있다. HBM·고용량 server DDR5·CXL·HBF 4개 layer 모두에서 dominant 점유율 또는 차세대 표준에 직접 참여하고 있다.
이 수요 측 결론은 1편 Bear and Fear의 공급 측 결론과 결합되어, supercycle(슈퍼사이클) 영속성 thesis를 완성한다.
[1. 시장이 자리 잡은 얕은 4단 명제]
2024년 후반부터 시장에 형성된 컨센서스는 다음의 4단계 인과 구조로 압축된다.
1단계 — 공개 인터넷 데이터가 saturate되고 있다. Ilya Sutskever가 2024년 NeurIPS에서 "the data wall is approaching"(데이터 벽이 다가오고 있다)는 발언을 한 이후, 이 명제가 시장 컨센서스로 자리 잡았다.[1]
2단계 — 따라서 학습은 종료 단계에 진입했다. 사전학습(pre-training) 시대의 황혼이 거론되기 시작했다.
3단계 — 그래서 시장은 추론 시대로 이동했다. OpenAI o1·o3, Anthropic Claude reasoning 모델 출시가 신호로 해석된다.
4단계 — 추론 시대의 핵심 부품은 HBM이며, 한국 메모리 양사는 그 사이클의 정점에 위치한다 — 따라서 고점론.
위 4단 명제가 시장에서 강력한 영향력을 가지는 이유는, 각 단계가 부분적으로 사실에 기반하기 때문이다. 그러나 각 단계 사이에는 결정적 논리 비약이 존재한다. 1단계에서 정확히 saturate된 영역은 "공개 인터넷 텍스트라는 한 종류의 데이터 소스"라는 사실이, 2단계에서는 "학습 데이터 전반이 saturate됐다"는 식의 보다 넓은 일반화로 비약하면서 핵심 정보가 누락된다. 1단계와 2단계 사이의 이 비약이 정량 분해의 출발점이다.
[2. 정량 분해 — 공개 인터넷 텍스트는 인류 데이터의 0.01%]
데이터 saturate 명제가 가리키는 영역의 실제 크기는, 인류 전체 데이터 규모와 상대 비교했을 때 비로소 드러난다.
① 학습에 실제 사용된 공개 데이터 — GPT-3 학습은 약 300B 토큰을 사용했고, Llama 3.1은 약 15T 토큰을 사용했다.[2] 현재 frontier 모델들의 학습 사용량은 약 15T 토큰 수준이다.
② 공개 인터넷 전체 — 두 층으로 나뉜다. 첫째, Epoch AI가 질·중복을 조정해 추정한 학습 가능한 effective stock은 약 300T 토큰(상한 약 400T, 4×10¹⁴) 수준이며, 2026~2032년 사이에 frontier 학습이 이 영역에 근접·소진할 것으로 예측된다. 둘째, 로그인·사설망까지 포함한 indexed web과 deep web 전체로 넓히면 공개 human-text(인간 작성 텍스트) stock(누적량)은 약 3,100T 토큰 수준이다(95% 신뢰구간 1,900~5,200T).[3] 즉 현재 frontier 학습량(~15T) 대비 학습 가능 stock 기준 약 20배, 이론적 web 전체 기준 약 200배의 여유다. 시장이 "데이터 saturate"라고 부르는 영역은 정확히 이 effective stock(~300T)을 가리킨다.
③ 비공개 기업 데이터(Dark Data) — 여기부터 데이터 규모의 자릿수 자체가 달라진다. IDC 추정에 따르면 2025년 글로벌 데이터 생성 총량은 175 ZB(zettabyte) 수준에 달하며, 2024년 기준 저장된 비정형 데이터는 5.5 ZB로, 2028년에는 10.5 ZB로 증가할 것으로 예상된다.[4] Gartner에 따르면 기업이 보유한 데이터의 80~90%가 비정형 데이터이며, 그중 55% 이상이 수집은 됐지만 활용되지 않는 dark data 상태에 있다. 참고로 175 ZB는 LLM 학습에 가장 많이 활용되는 공개 데이터셋인 Common Crawl(9.5 PB)의 약 18,000,000배에 해당하는 규모다.
④ 비디오·센서·생체·산업 데이터 — CCTV(중국 단독 2억 대+ 카메라가 일일 수백 PB 생성), 자율주행 센서(Tesla 단독 약 16억 마일 누적 주행 데이터), 의료 영상(글로벌 연간 수십 EB 생성), 공장 IoT, 위성 지구관측, 통화 녹음, 유전체 데이터, 금융 거래 로그 등이 이 층위에 해당한다. 이 데이터들은 대부분 해당 기업·기관 내부에서만 접근이 가능한 상태에 있으며, 현재 LLM 학습에는 거의 활용되지 못하고 있다.
규모의 비율을 토큰 단위로 환산하여 정리하면 다음과 같다.
데이터 영역 | 토큰 환산 | 상대 규모 |
현재 frontier 학습 데이터 | ~15T | 1x |
학습 가능 stock (Epoch effective) | ~300T | ~20x |
공개 인터넷 전체 (이론 상한·Epoch) | ~3,100T | ~200x |
기업 비공개 정형+비정형 텍스트 | ~30,000~100,000T | ~2,000~7,000x |
센서·비디오·음성·생체 (텍스트 환산) | ~1,000,000T+ | ~70,000x+ |
즉 공개 인터넷 텍스트는 인류가 생성하는 전체 데이터의 약 0.01%에 그치는 작은 영역이다. 시장이 "스케일링 saturate"라고 부르는 것은 정확히 이 영역 — 그중에서도 학습 가능한 effective stock — 에 한정된다. 나머지 99.99%의 데이터 영역은 아직 학습에 건드려지지도 않은 미답의 영역으로 남아 있다.
계산 방법론 안내
본 약 0.01% 비율은 Epoch AI 추정 공개 human-text token stock(~3,100T)을 IDC 추정 글로벌 데이터 생성량(2025년 175ZB) 및 저장 데이터의 텍스트 환산치와 비교한 Gorilla PE 내부 추정치다. 데이터 modality(비디오·이미지·음성·센서)별 tokenization 가정에 따라 비율의 절대값은 크게 달라질 수 있으며, 본 비교는 정확한 단일 수치가 아니라 order of magnitude(자릿수) 수준의 비교에 해당한다. 핵심은 공개 텍스트와 비공개·물리 세계 데이터 사이에 수천 배 이상의 규모 차이가 존재한다는 점이다.
[3. 99.99%의 잠금 해제 — 5개 데이터 소스 분석]
그렇다면 다음 질문이 따라온다 — "99.99%에 해당하는 잠재적 학습 데이터가 왜 즉시 LLM 학습에 투입되지 않고 있는가". 잠겨 있는 99.99%를 5개의 후보 데이터 소스로 분해하고, 각 소스의 공급 가능성과 핵심 병목 메커니즘을 분석한다.
소스 1 — 기업 비공개 정형·비정형 데이터 (공급 가능성 🟢, 핵심 병목: 접근 메커니즘).
Deel의 HR 데이터, JP Morgan의 거래 기록, Epic의 EHR(전자건강기록) 데이터 등이 이 소스에 해당한다. 이 데이터의 학습 활용에는 다섯 가지 봉쇄가 동시에 작동한다 — 법적 봉쇄(GDPR·HIPAA·SOX 등 데이터 이동을 금지하는 규제), 경제적 봉쇄(Bloomberg Terminal·FactSet 같은 데이터 공급자가 학습용 라이센싱을 수십억 달러 단위로 책정), 기술적 봉쇄(학습 가능한 임베딩으로의 변환 비용), 조직적 봉쇄(기업 내부의 데이터 이동 거부감), 질적 봉쇄(데이터 품질 검증 비용). 다만 잠금이 풀리기 시작하는 신호들이 이미 관측된다 — OpenAI-News Corp 계약, Microsoft-GitHub 통합, Bloomberg GPT 자체 학습 등. 이 영역의 구조적 관문은 Databricks·Epic·Deel·Palantir 같은 SOR(System of Record, 기록 시스템) 기업들에서 형성될 가능성이 높다. 이들이 새 스케일링의 주력 소스 후보인 것이다.
소스 2 — 물리 세계 데이터 (공급 가능성 🟡 부분, 핵심 병목: 디지털화 + 활용 경로).
자율주행(Tesla FSD, Waymo), 로봇(Optimus, Figure), CCTV, 의료 영상, 공장 IoT, 위성, 유전체 데이터가 여기에 해당한다. 이 데이터로 학습하는 데 필요한 compute는 공개 텍스트 대비 10~100배 수준이며, 학습 가능한 임베딩으로 변환하는 비용이 새로운 병목으로 작동한다. 범용 LLM의 데이터 소스로는 부분 공급에 그치겠지만, 도메인 특화 모델(자율주행·의료·로봇 등)의 주력 소스가 된다.
소스 3 — 인간 전문가 reasoning trace(추론 흔적) (공급 가능성 🟢, 이미 작동 중).
Scale AI의 모델이 이미 가동 중이며, PhD 수천 명을 고용해 reasoning trace를 생산하고 있다. OpenAI의 o1·o3가 이 방식으로 학습됐다는 추정이 강하다. 데이터 양은 적지만 품질 밀도가 극단적으로 높은 특성을 가진다. 핵심 병목은 비용 기반의 규모 확장 가능성이다.
소스 4 — AI-증폭 자발적 외재화 (공급 가능성 🟡 잠재, 핵심 병목: 수집 플랫폼의 부재).
인간이 AI를 cortex(인지 보조)로 활용할 때 자연스럽게 생성되는 데이터다. Andrej Karpathy의 AI-Wiki 시도, ChatGPT 대화 로그, GitHub Copilot 활용 기록 등이 이 범주에 속한다. 현재는 학습 데이터로 의도하지 않은 방식으로 일부 흘러들어가고 있다. 향후 체계적인 수집 플랫폼이 출현하면 공급량이 폭발적으로 증가할 수 있다.
소스 5 — 합성 데이터 (공급 가능성 🔴 단독 불가, 🟡 보조 가능).
순수하게 모델의 self-generation(자기 생성)만 반복하면, 4~5세대 정도에서 model collapse(모델 붕괴)가 일어난다. 다만 인간이 개입된 합성 — Anthropic의 Constitutional AI, OpenAI o3의 추론 시간 스케일링 등 — 은 위 소스 3·4번으로 수렴되면서 학습에 작동한다.
종합 판정: 5개 소스 중 2개는 이미 공급 중, 2개는 조건이 충족되면 공급 가능, 1개는 보조적으로만 활용 가능한 상태다. 즉 스케일링 법칙 자체가 깨진 것이 아니라, 한 데이터 소스(공개 텍스트)만 saturate된 상태이며, 나머지 4개 소스의 잠금 해제가 이제 본격적으로 진행되는 중으로 판단된다. 학습은 종료 단계에 진입한 것이 아니라, 새로운 데이터 소스 4개를 통해 이제 막 시작되는 단계에 들어선 것으로 본다.
[4. 5개 새 Wall — Beyond HBM]
학습 데이터 소스가 공개 텍스트에서 99.99% 영역으로 전환되면, AI 인프라의 병목 자체가 이동한다. 현재 AI 인프라는 공개 인터넷 텍스트라는 단일 데이터 소스에 최적화되어 구축되어 왔는데, 새로운 데이터 소스 시대로 진입하면 이 기존 인프라가 다섯 개의 새로운 Wall과 동시에 충돌하게 된다.
Wall 1 — Decode Wall(디코드 벽). 1시간 분량의 4K 비디오 한 편을 학습 가능한 임베딩으로 변환하는 데에 H100 GPU 기준 수 시간이 소요된다. 비디오·이미지·음성 데이터의 학습 비중이 증가하면, 비싼 H100 GPU가 데이터 전처리를 기다리며 idle(유휴) 상태에 빠지는 시간이 폭발적으로 증가한다. Decode 전용 가속기라는 새로운 카테고리가 현재 시장에는 비어 있는 상태다. 2026~2028 구간에는 전체 학습 compute 중 상당 비중이 데이터 전처리 단계로 이동할 수 있다는 추정이 존재한다.
Wall 2 — Long Context Wall(롱컨텍스트 벽). 학습 측 KV Cache(키-값 캐시)의 폭발이 발생한다. 모델의 컨텍스트 길이는 GPT-3의 4K → Claude Opus 4.7의 200K → Gemini의 1M+까지 250배 확장됐다. 70B 파라미터 모델 + 128K context + batch 32 조건에서 KV Cache는 150GB 이상이 필요하며, 이는 H100의 VRAM 80GB를 초과하는 수준이다.[5] 물리 세계 데이터(긴 영상 클립, 연속 센서 stream 등)는 초장문 컨텍스트가 필수적이다. 즉 학습 측에서 발생하는 메모리 수요가 추론 측 메모리 수요보다 오히려 클 가능성도 존재한다.
Wall 3 — Federated Learning Wall(연합학습 벽). 기업 비공개 데이터는 법적으로 외부 이동이 불가능하다. 따라서 데이터를 한 곳으로 모으지 않고, 모델을 각 데이터 사이트로 보내서 학습하는 federated learning(연합학습) 방식이 필수가 된다. 이때 데이터센터 간 통신 오버헤드가 새로운 병목으로 작동하며, 그 결과 데이터센터 간 초고속 광 인터커넥트(CPO, Co-Packaged Optics 등) 수요가 끌어올려진다.
Wall 4 — Privacy Compute Wall(프라이버시 컴퓨트 벽). 동형암호(homomorphic encryption), 차분 프라이버시(DP, differential privacy) 같은 프라이버시 보존 기법은 일반 연산 대비 100배 이상의 오버헤드가 발생한다. 기업 데이터를 학습에 활용하려면 이런 프라이버시 보존 연산이 필수이며, 그 결과 전용 하드웨어 카테고리가 새로 부상하게 된다.
Wall 5 — Storage Wall(스토리지 벽). 물리 세계의 raw(원본) 데이터는 재전처리가 가능한 형태로 장기 보존되어야 한다. 1차 학습 후 폐기하는 방식이 아니라 반복적으로 활용하는 것이 전제다. 따라서 저비용 대용량 스토리지 수요가 폭증하며, 여기서 HBF(High Bandwidth Flash, 고대역폭 플래시)의 비휘발성 특성이 결정적 역할을 한다. SK하이닉스의 Solidigm 자회사 QLC eSSD 라인업, Samsung의 256TB SSD 등이 정확히 이 Wall을 겨냥한 제품군이다.
앞의 5개 Wall 분석에서 도출되는 핵심 결론: HBM은 5개 Wall 중 단지 하나에 불과하다. 시장이 "HBM 사이클"이라고 부르는 영역은 메모리 인프라 전체 확장에서 단일 layer에 해당할 뿐이다. 한국 양사의 포지션은 5개 Wall 전반에 분포해 있으며, HBM 사이클 하나만 분석하는 시각은 전체 수요의 4/5를 놓치고 있는 것이다.
[5. 메모리 수요의 이중 비대칭 폭발]
메모리 수요는 학습 측과 추론 측 두 영역에서 동시에, 그러나 비대칭적인 시간 구조로 폭발한다. 시장은 현재 추론 측 폭발만 인지하고 있다.
추론 측 폭발 (시장이 인지하는 영역). 컨텍스트 길이의 확장(GPT-3 4K → Gemini 1M+, 250배 증가), 멀티모달의 확산(비디오 토큰 1초 분량 = 텍스트 1,000 토큰 분량 메모리), 에이전트 오케스트레이션(태스크 하나당 3~10개 agent가 동시 운영), test-time compute(답변 1개 생성에 토큰 사용량 10~100배 — OpenAI o1·o3, Claude reasoning 모델).[6] 이 4개 동인이 추론 측 메모리 수요를 5~10배 끌어올리는 효과를 만든다. AI 추론 시장 규모는 2025년 약 $106B에서 2030년 $255B로 성장할 것으로 전망되며, CAGR(연평균 성장률)은 19.2%다.[7] Morgan Stanley는 2025~2028년 데이터센터 인프라 투자 누적 규모를 $3T로 추정한다.[8]
학습 측 폭발 (시장이 아직 인지하지 못한 영역). 99.99%의 데이터 잠금이 해제되기 시작하면, 학습 토큰량 자체가 200~70,000배 증가하게 된다. 새로운 학습 데이터는 multimodal과 long context 특성을 가지며, decode·federated·privacy compute 등 새로운 인프라가 모두 메모리 의존적이다.
시간 구조 — 학습 측이 재점화될 수 있다. 추론 측 수요 폭발은 모델이 더 똑똑해진 결과다. 그런데 모델이 더 똑똑해지려면, 그 전에 새로운 학습 데이터와 학습 방식이 열려야 한다. 따라서 데이터 잠금 해제가 본격화되는 구간에서는, 시장이 인지한 추론 측 폭발보다 먼저 학습 측 메모리 수요가 재점화될 수 있다. 시장은 결과(추론 측)만 보고 그 원인(학습 데이터 잠금 해제)을 놓치고 있는 상황이다.
이중 비대칭이 의미하는 바. 메모리 수요는 학습 측 폭발 + 추론 측 폭발의 합산으로 형성되며, 두 영역에서 동시에 작동한다. 추론 측 동인 하나만 분석하는 시장의 시각은, 메모리 수요 곡선의 절반만 보고 있는 것에 해당한다.
[6. 한국 메모리 양사 — Beyond HBM 4-Layer 구조적 관문]
위에서 분석한 5개 Wall에 대응하는 메모리 계층 중 한국 양사가 dominant 점유 또는 차세대 표준에 참여한 영역을 정리하면, 양사의 포지션은 단순 HBM 베팅이 아니라 Memory Layer 전반의 구조적 관문에 가깝다는 점이 드러난다.
Layer 1 — HBM (학습과 추론 양쪽의 메인 메모리). SK하이닉스가 60% 이상의 시장 점유율을 보유하고 있으며, Samsung은 HBM4 qualification(품질 인증) 단계를 진행 중이다. NVIDIA의 Vera Rubin GPU는 HBM4를 유닛당 288GB 탑재할 예정이며, 이는 Blackwell 대비 약 3배 수준의 메모리 용량이다.[9] 진입 장벽은 TSV(through-silicon via, 실리콘 관통 전극) 패키징 기술의 lead time이 7년 이상이라는 점에 있다. 수요원도 NVIDIA 단일 의존이 아니다 — Broadcom, AMD MI400 시리즈, Google TPU, AWS Trainium, Microsoft Cobalt 등 다수의 칩 제조사가 모두 HBM에 의존하고 있다.
Layer 2 — 고용량 server DDR5 (연합학습과 일반 학습의 분산 메모리). 2025년 4분기 hyperscaler들이 server DDR5 capacity의 70%를 할당받았으며, 30~50%의 가격 인상이 이미 진행 중이다. 2026년 1분기에는 60% QoQ 추가 인상이 TrendForce에 의해 예고된 상태다.[10] 양사가 dominant 점유율을 보유한 영역이다.
Layer 3 — CXL (Compute Express Link, 메모리 풀링 표준). 차세대 메모리 풀링 표준이며, 분산 학습과 federated 환경에서 결정적인 인프라 역할을 한다. SC25(SuperComputing 2025) 컨퍼런스 시연에서 XConn과 MemVerge가 100TiB CXL pool을 시연했고, RDMA(Remote Direct Memory Access) 대비 3.8배 성능을 시현했다. NVIDIA의 Dynamo와 NIXL이 MemVerge의 GISMO와 통합되면서, 연구 단계에서 생산 단계로의 전환 신호가 명확하게 나타났다. Microsoft Azure는 업계 최초로 CXL 클라우드 인스턴스를 출시했다. 양사는 CXL JEDEC 표준에 참여하고 있으며, 자체 모듈 라인업도 보유하고 있다.
Layer 4 — HBF (Storage Wall 대응 비휘발성 고대역폭 플래시). SK하이닉스가 Sandisk Corporation과 2025년에 HBF Spec(HBF 표준 사양)을 공동 발표함으로써 이 영역에 일찍 진입했다. raw 데이터의 재전처리 보관 시장과 KV Cache offload(분산 저장) 시장을 동시에 겨냥하는 포지션이다.
+ 부속 layer — server NAND / Solidigm QLC eSSD. SK하이닉스의 자회사인 Solidigm이 QLC(Quad-Level Cell) 기반의 enterprise SSD 라인업을 보유하고 있으며, AI 데이터센터의 저비용 대용량 영구 저장 수요를 흡수하는 역할을 한다.
4개 layer에서 동시에 dominant 점유 = 단순한 HBM 사이클이 아니라, Memory Layer 전체의 확장 supercycle에서 가격결정권을 가질 수 있는 구조적 관문 포지션이다. OpenAI Stargate 의향서가 HBM 모듈도, 완성된 DRAM 칩도 아닌, DRAM wafer 그 자체를 월 900,000장 단위로 요구하고 있다는 사실이 시사하는 바가 크다. HBM·고용량 server DDR5·CXL·HBF 4개 layer의 원천 wafer가 모두 한국 양사의 fab 라인에서 출발한다는 구조적 의존도가, OpenAI 측에서도 인지되기 시작했음을 의미한다.
[7. 01편 분석과의 통합 — Supercycle 영속성 thesis]
금번 분석과 01편 분석이 결합되어 완성된 thesis를 형성한다.
수요 측 (금번 분석): 인류 데이터 99.99%의 잠금 해제 + 5개의 새로운 Wall 동시 부상 = 학습 측과 추론 측에서 동시에 작동하는 이중 비대칭 폭발 구조. 메모리 수요는 단일 동인이 아니라 layer 확장형으로 증가하며, 데이터 잠금 해제 구간에서는 학습 측 수요가 먼저 재점화될 수 있다.
공급 측 (01편 분석 Bear and Fear): 한국 양사가 보이는 신중함은 생산 capacity 자체가 아니라 고객 종속성을 강화하는 자금 조달 구조를 받아들이는 결정에서 비롯되며, 실제 capex는 사상 최대 규모로 확장 중이다. 신중함의 진짜 동인은 가격결정권 보호 = 구조적 관문 프리미엄의 의식적 방어다.
통합 결론: 수요 측 폭발 + 공급 측 보수화 + 구조적 관문 자각 = supercycle 영속성 + 가격결정권의 양사 이전.
따라서 실제로 추적해야 할 watch point는 supercycle 자체가 존재하느냐의 문제가 아니라, 2027~2028 LTA 갱신 시점에서의 계약 구조 변화와 5개 데이터 소스의 카테고리별 잠금 해제 진행 속도다.
[결론]
정리하면, 시장은 공개 텍스트 saturate → 학습의 끝 → 추론 시대로의 이동 → HBM 사이클의 정점 도달이라는 얕은 4단 명제로 한국 메모리 양사를 보고 있다.
고릴라PE가 보는 구조는 그보다 한 단계 더 깊다 — 공개 텍스트는 인류 데이터의 0.01%에 불과한 영역이고, 그것만 saturate됐을 뿐이다. 나머지 99.99%가 이제 막 깨어나기 시작했다. 학습은 종료가 아니라 시작 단계에 있다. 새로 부상하는 Wall은 5개이며, HBM은 그중 하나일 뿐이다. 그리고 한국 양사는 그 5개 중 4개 층위 메모리에서 구조적 관문 포지션을 점유하고 있다.
비대칭은 학습 측과 추론 측 두 영역에서 동시에 작동한다. 데이터 잠금 해제가 본격화되는 구간에서는 학습 측 수요가 먼저 재점화되고, 추론 측 수요가 그 뒤를 따라 확대될 수 있다. 시장이 결과만 보는 동안, 그 원인이 분기마다 강화되고 있는 구조다.
saturate된 영역은 한 줌이었다. 99.99%가 벽 너머에 서 있다.
[출처]
[1] Ilya Sutskever, NeurIPS 2024 keynote — "The data wall is approaching" 발언
[2] OpenAI 공식 (GPT-3, 2020) + Meta 공식 (Llama 3.1, 2024) — 학습 토큰 사용량
[3] Epoch AI — 공개 인터넷 human-text 데이터 stock 추정 (~3,100T 토큰, 95% 신뢰구간 1,900~5,200T), 2028 saturate 시점 예측
[4] IDC (International Data Corporation) — 글로벌 데이터 생성 175 ZB (2025), 저장 비정형 데이터 5.5 ZB → 10.5 ZB (2024 → 2028)
[5] 학계·산업 추정 (Microsoft Research, NVIDIA 백서) — 70B 모델 + 128K context + batch 32에서 KV Cache 150GB+
[6] Anthropic Claude Opus 4.7 멀티에이전트 출시 (2026.02), OpenAI o1/o3 reasoning 모델, Google Gemini 1M+ context 출시 (2024~2025)
[7] MarketsandMarkets / Grand View Research — AI Inference 시장 규모 2025 $106B → 2030 $254B, CAGR 19.2%
[8] Morgan Stanley 2025 — 데이터센터 인프라 투자 2025~2028 $3T 추정
[9] FinancialContent 2026.02 — NVIDIA Vera Rubin GPU의 HBM4 288GB/유닛 탑재 사양
[10] TrendForce 2026 — server DDR5 60% QoQ 가격 인상 전망
기타 참조
- Common Crawl 9.5 PB: 공식 데이터셋 통계
- SC25 XConn+MemVerge 100TiB CXL pool 시연: SuperComputing 2025 컨퍼런스 발표
- NVIDIA Dynamo/NIXL MemVerge GISMO 통합: NVIDIA·MemVerge 공동 발표 (2025)
- Microsoft Azure CXL 클라우드 인스턴스: Azure 공식 발표 (2025)
- Gartner — 기업 데이터 80~90% 비정형, 55%+ dark data
금번 분석은 Gorilla PE Insights Beyond 시리즈의 2편이며, 01편 "BEAR AND FEAR — 비관과 공포의 결합 명제 해체"에서 공급 측 thesis를 형성하고, 금번 분석이 수요 측 thesis로 시리즈를 완결한다.