Sign in Subscribe
Storage

High Bandwidth Flash (HBF) 2026: Standar Memori Baru yang Mengisi Kesenjangan HBM dan SSD untuk AI Inference

SK hynix dan Sandisk meluncurkan spesifikasi HBF pertama melalui Open Compute Project pada Agustus 2026. Teknologi ini menjanjikan bandwidth 3TB/s dengan kapasitas 512GB per paket, mengatasi bottleneck memori AI inference.

Aziz

— 3 min read
Share
High Bandwidth Flash (HBF) 2026: Standar Memori Baru yang Mengisi Kesenjangan HBM dan SSD untuk AI Inference

Industri teknologi menyaksikan terobosan fundamental pada Agustus 2026 ketika SK hynix dan Sandisk secara resmi merilis spesifikasi teknis terbuka pertama untuk High Bandwidth Flash (HBF) melalui Open Compute Project (OCP) di konferensi Future of Memory and Storage (FMS) 2026 di Santa Clara. Standar baru ini hadir sebagai jawaban atas kesenjangan kritis antara High Bandwidth Memory (HBM) yang cepat namun kapasitasnya terbatas, dengan SSD yang kapasitasnya besar namun latensinya tinggi.

Mengapa AI Inference Membutuhkan Tier Memori Baru

Workload AI inference modern menghadapi dilema arsitektur yang sulit. Model bahasa besar (LLM) dan model multimodal memerlukan akses cepat ke parameter model yang berukuran ratusan gigabita. HBM saat ini menawarkan bandwidth luar biasa (melebihi 1 TB/s) namun terbatas pada kapasitas 24-48 GB per stack. Di sisi lain, SSD NVMe menawarkan terabita penyimpanan namun bandwidth hanya berkisar 10-14 GB/s dengan latensi mikrodetik — terlalu lambat untuk inferensi real-time.

Insight Teknis: HBF tidak menggantikan HBM atau SSD, melainkan menciptakan tier memori ketiga — near-memory compute — yang menempatkan storage NAND berbandwidth tinggi langsung dekat dengan accelerator AI, mengurangi perpindahan data yang mahal secara energi dan latensi.

Spesifikasi Teknis HBF: Angka yang Mengubah Mainan

Spesifikasi HBF v1.0 yang dipublikasikan OCP mendefinisikan parameter kunci berikut:

  • Kapasitas per Paket: Hingga 512 GB (menggunakan 375-layer 4D NAND SK hynix)
  • Bandwidth Puncak: 3 TB/s per paket (menggunakan antarmuka UCIe)
  • Efisiensi Daya: 2.5x lebih efisien dibanding solusi DRAM setara
  • Faktor Bentuk: Compatible dengan socket OCP standard, mendukung integrasi heterogen
  • Antarmuka: UCIe (Universal Chiplet Interconnect Express) untuk interkoneksi chiplet standar

Arsitektur 375-layer 4D NAND menjadi enabler kunci. Dengan menumpuk sel memori secara vertikal hingga 375 lapisan, SK hynix mencapai densitas yang sebelumnya mustahil untuk NAND, sambil menjaga throughput tinggi melalui desain peripheral-under-cell (PUC) yang memindahkan logika periferal di bawah array sel.

// Contoh konfigurasi sistem AI Inference dengan HBF
// (Ilustrasi arsitektur referensi OCP HBF v1.0)

struct HBF_Module {
    capacity_gb: 512,
    bandwidth_tbps: 3.0,
    interface: "UCIe 1.1",
    nand_layers: 375,
    power_efficiency_pj_per_bit: 0.8,
    form_factor: "OCP NIC 3.0 compatible"
};

// Tiering memori dalam server AI inference
// HBM (GPU-attached)      -> 48 GB  @ 1.5 TB/s  -> Model weights hot
// HBF (Near-compute)      -> 512 GB @ 3.0 TB/s  -> Model weights warm + KV cache
// SSD NVMe (Storage)      -> 8 TB   @ 14 GB/s   -> Model archive + dataset

Dampak bagi Ekosistem Data Center Indonesia

Bagi operator data center dan penyedia cloud di Indonesia, HBF membuka peluang optimasi biaya signifikan. Saat ini, banyak penyedia lokal mengandalkan GPU dengan HBM terbatas, memaksa offloading ke SSD NVMe yang menimbulkan latency spike saat inference batch besar. Adopsi HBF memungkinkan:

  1. Pengurangan Jumlah GPU per Workload: Kapasitas 512 GB per modul HBF memungkinkan model 70B+ parameter muat sepenuhnya di memori near-compute, mengurangi kebutuhan multi-GPU.
  2. Efisiensi Daya Operasional: Konsumsi daya per bit 2.5x lebih rendah dari DRAM berarti penghematan listrik substansial di skala rack.
  3. Standardisasi Vendor-Neutral: Spesifikasi OCP terbuka mencegah vendor lock-in, memungkinkan procurement dari multiple vendor (SK hynix, Sandisk, dan vendor lain yang akan mengadopsi standar).

Tantangan Adopsi dan Roadmap ke Depan

Meskipun menjanjikan, HBF masih menghadapi rintangan adopsi:

  • Kematangan Ekosistem Software: Framework AI (PyTorch, TensorRT, vLLM) memerlukan optimasi memory manager baru untuk memanfaatkan tier HBF secara otomatis.
  • Supply Chain: Produksi massal 375-layer NAND memerlukan kapasitas fab yang signifikan; ramping production diperkirakan H1 2027.
  • Biaya Awal: Harga per GB HBF diperkirakan 3-5x SSD NVMe enterprise, meskipun TCO 3-tahun diharapkan kompetitif berkat pengurangan GPU count.

OCP telah membentuk HBF Workgroup dengan partisipasi Google DeepMind, Meta, Microsoft, dan vendor silicon utama untuk mendorong integrasi software dan definisi spesifikasi v1.1 (target Q1 2027) yang akan menambahkan dukungan CXL 3.0 dan manajemen thermal terintegrasi.

Kesimpulan

High Bandwidth Flash menandai pergulatan arsitektur memori data center AI pasca-2026. Dengan mengisi kesenjangan fundamental antara bandwidth dan kapasitas, HBF memungkinkan inferensi model besar yang lebih efisien, skalabel, dan hemat biaya. Bagi industri teknologi Indonesia yang bertransformasi ke AI-first, memantau perkembangan HBF dan merencanakan refresh hardware yang HBF-ready menjadi kebutuhan strategis — bukan sekadar opsi teknis.

Artikel ini disusun berdasarkan spesifikasi OCP HBF v1.0 resmi (Agustus 2026), presentasi FMS 2026 SK hynix, dan laporan industri dari IEEE Spectrum, Electronic Design, dan SDxCentral.

Read more