Revolusi Server Rack-Scale AI 2026: AMD Instinct MI350 hingga NVIDIA Rubin Ubah Arsitektur Data Center Indonesia

Puluhan tahun arsitektur server dipahami sebagai satu unit fisik: sebuat chassis berisi prosesor, memori, dan penyimpanan yang dipasang di rak. Tahun 2026 mengubah definisi itu secara fundamental. Beban kerja kecerdasan buatan—terutama pelatihan model besar dan inferensi agen otonom—telah memaksa industri untuk berhenti memikirkan server sebagai kotak, dan mulai memikirkannya sebagai rak utuh. Dua penggerak utama tahun ini adalah AMD Instinct MI350 (arsitektur CDNA 4) dan platform NVIDIA Vera Rubin dengan GB300 NVL72. Bagi operator data center di Indonesia, yang kapasitasnya diproyeksikan menembus 1,65 GW pada akhir 2026 dan 2,7 GW pada 2030, pergeseran ini bukan sekadar tren silikon, melainkan teka-teki rekayasa daya dan pendingin yang harus dijawab sekarang.

Mengapa Server AI Tak Lagi Berbentuk "Kotak"

Batas utama server AI modern bukan lagi jumlah inti komputasi, melainkan lebar banda antar-akselerator dan efisiensi energi per operasi. Ketika sebuah model bahasa besar harus menyinkronkan gradien melintasi puluhan GPU, koneksi antar-kartu menjadi penentu kecepatan sebenarnya. Itulah sebabnya vendor beralih dari kartu PCIe tunggal ke sistem terintegrasi di mana GPU, CPU, dan jaringan penyambung ditempelkan ke satu papan bersama dalam satu rak. Unit komputasi terkecil yang masuk akal bukan lagi satu server, melainkan satu rak berisi 32, 64, bahkan 72 akselerator yang saling terhubung dengan bus berkecepatan ratusan terabit per detik.

Pergeseran ini memiliki konsekuensi nyata: konsumsi daya per rak melonjak dari beberapa kilowatt menjadi 100–140 kW. Pendingin udara konvensional tidak lagi cukup. Pendingin cair bertipe cold plate dan pintu belakang penukar panas (rear-door heat exchanger) menjadi standar wajib, bukan opsi mewah. Fenomena ini tercermin dalam berita domestik: sejumlah laporan di IDNFinancials dan ANTARA menyebut pendingin cair sebagai "solusi utama" data center Indonesia di era AI.

AMD Instinct MI350: CDNA 4 dan Memori 288 GB

AMD membuka 2026 dengan lini Instinct MI350 yang dibangun di atas arsitektur CDNA 4. Dua varian utama beredar: MI350X dengan 256 GB HBM3E dan MI355X dengan 288 GB HBM3E. Angka memori ini krusial karena model AI terkini sering kali gagal dimuat justru karena kehabisan VRAM, bukan karena kekurangan daya komputasi. MI355X membawa dukungan presisi FP4 dan FP6 yang dirancang khusus untuk inferensi, menawarkan lonjakan performa hingga puluhan kali lipat dibanding generasi CDNA 3 (MI300) untuk beban inferensi.

Yang menarik bagi perancang infrastruktur adalah pendekatan rack-scale AMD: hingga 256 GPU dapat digabung dalam satu rak melalui interkoneksi Infinity Fabric, dengan konsumsi listrik per kartu mencapai sekitar 1.400 watt untuk varian berpendingin cair. Artinya satu rak penuh bisa menyerap daya setara ratusan rumah tangga. Bagi enterprise Indonesia yang ingin menahan biaya, MI350 menarik karena masih kompatibel dengan soket dan perangkat lunak ekosistem ROCm yang sudah mapan, sehingga migrasi dari generasi sebelumnya relatif mulus.

NVIDIA Vera Rubin dan GB300 NVL72: Komputasi Skala Rak

Di sisi lain, NVIDIA merilis era pasca-Blackwell melalui platform Vera Rubin. Intinya adalah GPU Rubin yang dipasangkan dengan CPU Vera berbasis Arm (88 inti) di dalam sistem GB300 NVL72—sebuah rak yang menyatukan 72 GPU Rubin dan 36 CPU Grace, diikat oleh NVLink dengan lebar banda sekitar 130 TB/s. Untuk konteks, angka ini beberapa kali lipat lebih lebar dibanding koneksi jaringa Ethernet antar-rak konvensional.

GB300 NVL72 secara efektif menjadikan satu rak sebagai satu "super-GPU" logis. Model dengan triliunan parameter dapat dilatih tanpa memecahnya ke banyak rak yang saling menunggu. Harganya, tentu saja, adalah ketergantungan total pada pendingin cair dan infrastruktur listrik kelas industri. Red Hat telah menyiapkan tumpukan perangkat lunak enterprise (RHEL hingga OpenShift AI) yang dioptimalkan untuk Vera Rubin, sinyal bahwa ekosistem siap mendukung adopsi skala produksi pada 2026.

Inti perubahan: Pada 2026, satuan komputasi AI yang relevan bukan lagi satu server, melainkan satu rak. Daya 100–140 kW per rak dan pendingin cair bukan lagi opsi, melainkan prasyarat. Siapa pun yang masih merancang data center dengan asumsi pendingin udara dan beban 10 kW per rak akan tertinggal dalam dua tahun.

Dampaknya bagi Ekosistem Data Center Indonesia

Indonesia sedang dalam boom data center terbesar dalam sejarahnya. Proyeksi IDPRO menyebut penambahan kapasitas 120 MW sepanjang 2026, sementara delapan perusahaan data center global diperkirakan masuk hingga 2028. Investasi Digital Edge di Bekasi mencapai puluhan triliun rupiah dengan dukungan listrik dari PLN hingga satuan gigawatt. Namun pertumbuhan ini menghadapi batu sandungan fisik: pasokan listrik, lahan, dan pendingin.

Tren "data center makin mungil" yang diangkat detikINET menunjukkan arah lain—munculnya modul mikro dan edge data center yang ditempatkan dekat pengguna untuk memangkas latensi inferensi AI. Namun baik rak raksasa di hyperscale maupun modul kecil di tepi jaringan, keduanya butuh silikon akselerator yang sama efisiennya. Operator lokal yang bijak akan memilih arsitektur yang fleksibel: rak yang bisa diisi MI355X maupun sistem NVIDIA, dengan infrastruktur pendingin cair yang dipasang sejak hari pertama.

Praktik Memilih dan Memverifikasi Server AI

Sebelum menandatangani kontrak puluhan miliar untuk rak AI, tim infrastruktur sebaiknya memverifikasi klaim vendor secara mandiri. Topologi NVLink dan jumlah HBM nyata dapat dicek langsung di sistem, bukan hanya di lembar spesifikasi. Berikut tiga cuplikan praktis.

Memeriksa topologi interkoneksi GPU di Linux:

$ nvidia-smi topo -m
        GPU0  GPU1  GPU2  GPU3
GPU0    X    NV18  NV18  NV18
GPU1   NV18   X    NV18  NV18
GPU2   NV18  NV18   X    NV18
GPU3   NV18  NV18  NV18   X

$ nvidia-smi --query-gpu=index,name,memory.total,utilization.gpu \
  --format=csv

Audit kapasitas akselerator dengan PyTorch sebelum beban produksi:

import torch

def audit_ai_server():
    if not torch.cuda.is_available():
        return "No GPU detected"
    n = torch.cuda.device_count()
    total_mem = sum(
        torch.cuda.get_device_properties(i).total_memory
        for i in range(n)
    )
    print(f"GPU terpasang : {n}")
    print(f"Total HBM     : {total_mem / 1e9:.0f} GB")
    for i in range(n):
        p = torch.cuda.get_device_properties(i)
        print(f"  [{i}] {p.name} - {p.total_memory // 1e9} GB")
    return n

if __name__ == "__main__":
    audit_ai_server()

Contoh manifes rak terpadu untuk dokumentasi infrastruktur:

rack: ai-rack-01
cooling: liquid-cold-plate
nodes:
  - model: AMD Instinct MI355X
    gpus_per_node: 8
    hbm_gb: 288
    tdp_w: 1400
  - model: NVIDIA GB300 NVL72
    gpus_per_rack: 72
    nvlink_tb_s: 130
    tdp_w: 120000
power_budget_kw: 140

Kesimpulannya, 2026 menandai titik balik arsitektur server dari unit berdiri sendiri menuju sistem terpadu skala rak. AMD dan NVIDIA sama-sama mendorong batas memori dan lebar banda, sementara Indonesia harus mengejar ketertinggalan infrastruktur daya dan pendingin agar tidak sekadar menjadi pasar konsumsi silikon impor. Untuk insinyur dan pengambil keputusan, waktunya membaca spesifikasi dengan mata kritis—dan memastikan lantai data center sanggup menampung rak yang memakan daya sebesar pabrik kecil.