High-Bandwidth Flash (HBF) 2026: Lapisan Memori Baru Antara HBM dan SSD untuk Beban Kerja AI

Industri memori dan penyimpanan sedang mengalami pergeseran fundamental pada 2026. Dua raksasa semiconductor — Samsung dan SK Hynix — baru saja memperkenalkan spesifikasi teknis terbuka pertama untuk High-Bandwidth Flash (HBF) melalui Open Compute Project (OCP) pada konferensi Future of Memory and Storage (FMS) 2026 di Santa Clara. HBF dirancang sebagai lapisan memori baru yang menempati posisi strategis di antara High-Bandwidth Memory (HBM) dan Solid-State Drive (SSD), mengatasi bottleneck kritis yang menghantui infrastruktur AI modern.

Mengapa AI Butuh Lapisan Memori Baru?

Model AI generatif saat ini — seperti GPT-5, Claude 4, dan Llama 4 — memiliki parameter dalam skala triliunan. Setiap parameter memerlukan akses cepat ke bobot model selama inferensi. HBM (saat ini HBM3E dan HBM4) menyediakan bandwidth hingga beberapa terabyte per detik, namun kapasitasnya terbatas dan biayanya sangat tinggi. Di sisi lain, SSD NVMe enterprise menawarkan kapasitas besar dengan biaya per GB yang lebih rendah, namun latency dan bandwidth-nya tidak memadai untuk beban kerja AI real-time.

Kesenjangan ini menciptakan "memory wall" baru: GPU dan akselerator AI menghabiskan siklus clock menunggu data dari storage, mengurangi utilizasi compute hingga 40-60% pada beban kerja LLM inference skala besar. HBF hadir untuk mengisi celah ini dengan arsitektur yang mengombinasikan kecepatan mendekati HBM dengan kapasitas dan ekonomis SSD.

Arsitektur HBF: Detail Teknis

Spesifikasi HBF 1.0 yang dipublikasikan OCP mendefinisikan beberapa karakteristik kunci:

• Interface: Memanfaatkan protokol CXL 3.0/3.1 untuk kohesi cache dan akses memori terdistribusi
• Media: V-NAND 400-layer (BV-NAND) dengan arsitektur zNAND-O untuk efisiensi ruang 10x
• Bandwidth target: 2-4 TB/s per modul (mendekati HBM3E, melebihi SSD NVMe Gen5 4x)
• Latency: Sub-microsecond, 10x lebih cepat dari SSD NVMe terbaik
• Kapasitas per modul: 128 GB - 1 TB (dengan roadmap ke 2 TB)
• Form factor: E3.S / E1.S dengan konektor CXL, hot-pluggable

Insight Kunci: HBF bukan menggantikan HBM atau SSD, melainkan menciptakan tier memori ketiga yang memungkinkan "memory disaggregation" skala rack. GPU bisa mengakses pool HBF terpusat via CXL switch, mengurangi stranded memory dan meningkatkan TCO hingga 30%.

Implementasi Praktis: Contoh Konfigurasi Server AI 2026

Berikut adalah contoh arsitektur server AI generasi terbaru yang mengintegrasikan HBF:

┌─────────────────────────────────────────────────────────────┐
│                  AI Server Node (2026)                      │
├─────────────────────────────────────────────────────────────┤
│  8x GPU (Blackwell B300 / MI350)                           │
│       │                    │                                │
│       ▼                    ▼                                │
│  ┌─────────┐         ┌─────────┐                            │
│  │  HBM4   │         │  HBM4   │  ←  Model weights (hot)    │
│  │  192GB  │         │  192GB  │                            │
│  └────┬────┘         └────┬────┘                            │
│       │                   │                                  │
│       ▼                   ▼                                  │
│  ┌─────────────────────────────────┐                         │
│  │     CXL 3.1 Switch (64-port)    │                         │
│  └──────────────┬──────────────────┘                         │
│                 │                                            │
│       ┌─────────┴─────────┐                                  │
│       ▼                   ▼                                  │
│  ┌─────────┐         ┌─────────┐                            │
│  │ HBF Mod │         │ HBF Mod │  ←  KV Cache / Activations │
│  │ 512 GB  │         │ 512 GB  │     (warm tier)            │
│  └────┬────┘         └────┬────┘                            │
│       │                   │                                  │
│       ▼                   ▼                                  │
│  ┌─────────────────────────────────┐                         │
│  │   NVMe Gen5 SSD Pool (Cold)     │  ←  Checkpoint / Dataset │
│  │   30 TB (RAID 0/10)             │                         │
│  └─────────────────────────────────┘                         │
└─────────────────────────────────────────────────────────────┘

Dalam konfigurasi ini, HBF berperan sebagai "warm tier" untuk KV cache dan intermediate activations selama inference LLM panjang. Latency sub-microsecond HBF memastikan GPU tidak stall saat prefetching token berikutnya, sementara kapasitas 1 TB per node memungkinkan context window hingga 1M token tanpa offload ke SSD.

Software Stack: Memanfaatkan HBF dari PyTorch dan vLLM

Ekstensi perangkat lunak sudah dalam pengembangan untuk memanfaatkan HBF secara transparan:

# Contoh konfigurasi vLLM 0.6+ dengan HBF awareness
from vllm import EngineArgs, AsyncEngine

engine_args = EngineArgs(
    model="meta-llama/Llama-4-70B",
    # HBF-specific parameters
    kv_cache_device="hbf",           # Target HBF untuk KV cache
    hbf_pool_size_gb=512,            # Alokasi pool HBF per GPU
    enable_prefix_caching=True,      # Optimal dengan HBF latency rendah
    max_model_len=1_000_000,         # Context window 1M token
    gpu_memory_utilization=0.85,     # Sisakan 15% untuk HBM weights
)

engine = AsyncEngine.from_engine_args(engine_args)

# PyTorch 2.5+ dengan CXL/HBF memory allocator
import torch

# Custom allocator untuk HBF
torch.cxl.set_hbf_pool("hbf0", size_gb=512)

with torch.cxl.hbf_allocator("hbf0"):
    kv_cache = torch.empty(
        (num_layers, 2, batch_size, num_heads, seq_len, head_dim),
        dtype=torch.bfloat16,
        device="cuda"  # Pin ke GPU, backing store di HBF
    )
    # Operasi normal — data otomatis tier ke HBF saat HBM penuh
    output = model(input_ids, kv_cache=kv_cache)

Tantangan Adopsi dan Roadmap

Meskipun prospective, HBF menghadapi beberapa hambatan:

1. Biaya awal: Estimasi $15-20/GB vs HBM ~$30/GB dan SSD ~$0.08/GB. ROI terlihat pada skala >512 GPU cluster.
2. Ekosistem CXL: Membutuhkan CPU/GPU dengan CXL 3.1 support (Intel Granite Rapids, AMD Turin, NVIDIA Blackwell).
3. Software maturity: Kernel Linux 6.12+ untuk CXL 3.1, driver vendor-specific, dan framework integration masih early stage.
4. Standar kompatibilitas: OCP HBF 1.0 baru finalisasi Agustus 2026; produk komersial diprediksi Q1 2027.

Roadmap industri menunjuk ke HBF 2.0 pada 2027 dengan integrasi Processing-In-Memory (PIM) — memungkinkan operasi attention scoring dan vector search langsung di media HBF, mengurangi data movement ke GPU lebih lanjut.

Kesimpulan

High-Bandwidth Flash menandai evolusi arsitektur memori untuk era AI skala besar. Sebagai tier "warm" antara HBM dan SSD, HBF mengatasi memory wall yang membatasi utilizasi GPU pada inference LLM berkonteks panjang. Bagi organisasi yang membangun infrastruktur AI 2026-2027, mempersiapkan roadmap CXL/HBF — mulai dari evaluasi hardware, kernel tuning, hingga framework integration — akan menjadi diferensiatif kompetitif krusial. Era memory disaggregation sudah dimulai; HBF adalah fondasinya.