Sign in Subscribe
Storage

High-Bandwidth Flash (HBF) 2026: Solusi Memori Baru untuk AI Inference Server

SK hynix dan Sandisk luncurkan standar High-Bandwidth Flash (HBF) 2026 — memori flash bandwidth 3 TB/s kapasitas 512 GB yang mengisi celah antara HBM dan SSD untuk AI inference server. Analisis teknis dan implikasi bagi infrastructure Indonesia.

Aziz

— 2 min read
Share
High-Bandwidth Flash (HBF) 2026: Solusi Memori Baru untuk AI Inference Server

Industri memori mencapai titik balik krusial pada 2026. SK hynix dan Sandisk, melalui Open Compute Project (OCP), memperkenalkan spesifikasi High-Bandwidth Flash (HBF) — standar penyimpanan generasi baru yang dirancang mengisi celah performa antara HBM (High-Bandwidth Memory) yang mahal dan kapasitas terbatas, dengan SSD NVMe yang jauh lebih lambat. Teknologi ini menjanjikan bandwidth hingga 3 TB/s per paket dengan kapasitas 512 GB per stack, menargetkan beban kerja AI inference skala besar.

Mengapa AI Butuh Tier Memori Baru

Model AI modern — terutama LLM dengan parameter ratusan miliar — menciptakan tekanan memori yang tidak precedented. Selama inference, model weights dan KV-cache harus resid di memori dekat compute. HBM menawarkan bandwidth ekstrem (>1 TB/s) namun mahal dan terbatas kapasitas (maksimal 192 GB per GPU saat ini). SSD NVMe punya kapasitas besar tapi latency tinggi dan bandwidth terbatas (~14 GB/s PCIe Gen5). Celah ini menciptakan memory wall yang membatasi throughput dan efisiensi biaya inference.

Insight: HBF bukan pengganti HBM. Ia menciptakan tier menengah — near-memory storage — yang memungkinkan offloading KV-cache dan model weights yang tidak aktif dari HBM ke HBF dengan penalty latency minimal, membebaskan HBM untuk compute kritis.

Arsitektur Teknis HBF

Spesifikasi HBF v1.0 mendefinisikan:

  • Interface: OCP-compliant, berbasis CXL 3.0 / PCIe Gen6 untuk koherensi cache dan latency sub-mikrodetik
  • Form Factor: EDSFF E3.S 2T (dual-slot) untuk kepadatan rack tinggi
  • Media: 3D NAND khusus dengan through-silicon via (TSV) stacking, mirip HBM tapi berbasis flash
  • Controller: Terintegrasi compute-near-memory untuk preprocessing data (quantization, compression) sebelum kirim ke GPU
# Contoh konfigurasi server AI inference dengan HBF tier
# 8x GPU H100 (80GB HBM3) + 4x HBF 512GB modules
# Total fast memory: 640 GB HBM + 2 TB HBF

server_config = {
    "gpu": "NVIDIA H100 80GB",
    "gpu_count": 8,
    "hbm_total_gb": 640,
    "hbf_modules": 4,
    "hbf_capacity_gb": 512,
    "hbf_bandwidth_tbps": 3.0,
    "interconnect": "CXL 3.0 / PCIe Gen6 x8",
    "workload": "LLM inference (70B-400B params)"
}

Dampak bagi Enterprise Indonesia

Bagi penyedia cloud dan enterprise Indonesia yang mengadopsi AI skala production, HBF menawarkan TCO reduction 30-40% dibanding konfigurasi all-HBM. Data center hyperscale di Jakarta dan Batam sudah merencanakan refresh siklus 2026-2027 dengan slot HBF-ready. Kementerian Komunikasi dan Informatif (Kominfo) melalui program National AI Strategy mendorong adopsi infrastruktur AI efisien energi — HBF konsumsi daya <15W per 512GB vs HBM ~40W per 80GB.

Tantangan Adopsi dan Roadmap

Meskipun spesifikasi terbuka Agustus 2026, produksi massal diproyeksi Q1 2027. Tantangan utama:

  1. Ecosystem software: Kernel Linux CXL 3.0, driver GPU (CUDA/ROCm), dan framework (PyTorch, vLLM, TensorRT-LLM) butuh dukungan transparent tiering ke HBF
  2. Standar kompatibilitas: OCP HBF v1.0 harus harmonisasi dengan JEDEC CXL 3.1 dan SNIA Swordfish untuk manajemen storage terpadu
  3. Supply chain: Kapasitas produksi 3D NAND TSV terbatas di SK hynix (Cheongju) dan Sandisk (Penang) — awalnya hanya untuk hyperscaler tier-1

Google DeepMind dan Tenstorrent sudah commit dukungan early-access. Untuk tim infrastructure Indonesia, langkah praktis: audit workload inference saat ini, identifikasi KV-cache pressure via profiling (NVIDIA Nsight, ROCm Profiler), dan evaluasi apakah HBF tier mengurangi HBM pressure >40%. Jika ya, HBF jadi kandidat kuat untuk refresh hardware 2027.

Read more