High-Bandwidth Flash (HBF): Solusi Memori AI Generasi Berikutnya 2026

Industri kecerdasan buatan (AI) menghadapi hambatan fundamental: memori. Model generatif terbaru dengan ratusan miliar hingga triliunan parameter membutuhkan bandwidth dan kapasitas memori yang melampaui kemampuan High Bandwidth Memory (HBM) tradisional. Pada konferensi Future of Memory and Storage (FMS) 2026 di Santa Clara, dua raksasa memori — SK hynix dan SanDisk — memperkenalkan spesifikasi terbuka pertama untuk High-Bandwidth Flash (HBF) melalui Open Compute Project (OCP). Inovasi ini menjanjikan lapisan memori baru yang mengisi celah antara HBM berkecepatan ultra-tinggi dan SSD berkapasitas besar, menjadi potensi game-changer bagi infrastruktur AI skala besar.

Mengapa HBM Sudah Tidak Cukup

HBM telah menjadi tulang punggung akselerator AI modern berkat bandwidth hingga beberapa terabyte per detik. Arsitektur 3D-stacked-nya menempatkan memori dekat dengan prosesor, meminimalkan latensi. Namun, HBM memiliki tiga keterbatasan kritis: biaya per bit yang sangat mahal, keterbatasan kapasitas karena ruang fisik interposer yang terbatas, dan kompleksitas manufaktur yang membuat penskalaan sulit. Saat model AI tumbuh eksponensial, tekanan pada rantai pasokan HBM semakin parah. Google DeepMind dan Tenstorrent — yang ikut mengembangkan HBF — mengakui bahwa pendekatan "HBM saja" tidak berkelanjutan untuk inferensi dan pelatihan model generasi depan.

Arsitektur HBF: Jembatan Antara Kecepatan dan Kapasitas

HBF dirancang sebagai tier memori baru yang posisinya di antara HBM dan SSD NVMe. Berbeda dengan HBM yang menggunakan DRAM berbasis TSV (Through-Silicon Via), HBF memanfaatkan NAND flash 3D berlapis tinggi dengan antarmuka berkecepatan tinggi. Spesifikasi OCP mendefinisikan form factor standar, protokol sinyal, dan manajemen daya — memungkinkan interoperabilitas multi-vendor. Keuntungan utamanya: biaya per bit jauh lebih rendah dari HBM, kapasitas per paket bisa mencapai puluhan GB, dan bandwidth tetap kompetitif (target awal 1-2 TB/s). Untuk beban kerja AI inference di mana pola akses data bersifat berulang dan terbaca, HBF menawarkan sweet spot ekonomis-teknis.

Insight: HBF bukan pengganti HBM, melainkan pelengkap. Arsitektur memori AI masa depan akan bersifat hierarkis: HBM untuk compute intensif, HBF untuk working set besar, SSD untuk cold storage. Tiering otomatis via CXL 3.x akan kunci efisiensinya.

Implikasi untuk Data Center dan Cloud AI

Adopsi HBF akan mengubah desain server AI. Vendor seperti Dell, HPE, dan Supermicro sudah mengevaluasi integrasi slot HBF di platform generasi berikutnya. Untuk penyedia cloud, HBF memungkinkan instance GPU dengan "memori efektif" jauh lebih besar tanpa biaya HBM proporsional — menurunkan TCO inferensi per token. Standar terbuka OCP juga mengurangi vendor lock-in, memicu inovasi kompetitif. AMD dengan akuisisi MEXT dan teknologi Predictive Memory Engine-nya, serta Samsung dengan V10 Bonded V-NAND 400-layer, menunjukkan konvergensi industri: flash berperforma tinggi menjadi substring memori AI.

Tantangan dan Peta Jalan

Meski menjanjikan, HBF masih menghadapi rintangan: latensi tulis NAND intrinsik lebih tinggi dari DRAM, wear-leveling pada beban kerja AI berulang, dan kematangan ekosistem controller CXL. Produksi massal diperkirakan mulai 2027. Namun, dengan dukungan SK hynix, SanDisk, Google, dan Tenstorrent — serta standar OCP yang terbuka — fondasi teknis sudah diletakkan. Bagi arsitek infrastruktur AI, sekarang saatnya merencanakan hierarki memori yang inklusif HBF, bukan berspekulasi apakah akan hadir.

// Contoh konseptual: Tiering memori AI dengan HBF via CXL 3.x
class AIMemoryHierarchy {
  private HBM hbm;        // 80-120 GB, >3 TB/s
  private HBF hbf;        // 256-512 GB, 1-2 TB/s  
  private NVMeSSD ssd;    // 8-32 TB, 14 GB/s
  
  public Tensor allocate(TensorShape shape, AccessPattern pattern) {
    if (pattern.isHotCompute()) return hbm.allocate(shape);
    if (pattern.isWorkingSet()) return hbf.allocate(shape);
    return ssd.allocate(shape);
  }
  
  public void promote(Tensor t) { /* demote/promote based on access frequency */ }
}

Perkembangan HBF menandai shift paradigma: memori AI tidak lagi monopoli DRAM berbasis silikon mahal. Flash berbandwidth tinggi, distandariskan, dan terjangkau siap menjadi lapisan krusial yang memungkinkan penskalaan model AI berkelanjutan tanpa membelah dompet. Organisasi yang mulai memvalidasi arsitektur HBF hari ini akan memiliki keunggulan biaya dan fleksibilitas saat gelombang adopsi AI generatif berikutnya tiba.