FinOps untuk AI: Mengendalikan Biaya Token di Era Agentic Cloud 2026

Lonjakan adopsi AI generatif dan agentic AI mendorong tagihan cloud melonjak hingga ratusan persen di banyak perusahaan Indonesia. Google Cloud Indonesia baru-baru ini (15–17 Juli 2026) membagikan strategi konkret untuk mengatasi biaya token AI yang tidak terkendali, sementara laporan Flexera 2026 dan survei Azul menunjukkan 88 % CFO mengakui pengeluaran cloud naik dan 45 % menyebut optimisasi biaya sebagai kunci mendanai inovasi AI. Artikel ini menguraikan kerangka FinOps modern, pola arsitektur hemat biaya, dan contoh implementasi Terraform + Kubecost yang siap dipakai.

1. Mengapa Biaya Token AI Menjadi Masalah Baru

Berbeda dengan beban kerja tradisional yang terukur per vCPU/GB/jam, inferens LLM dihitung per token (input + output). Model besar seperti Gemini 1.5 Pro atau GPT-4o menarik biaya USD 3–15 per 1 juta token. Pada skala enterprise (miliaran token/bulan), tagihan bisa melebihi infrastruktur GPU itu sendiri. Google Cloud Indonesia menekankan tiga penyebab utama: (1) prompt bloat — konteks yang terlalu panjang, (2) absence of caching — permintaan identik dikirim berulang, dan (3) model over-provisioning — menggunakan model terbesar untuk tugas sederhana.

Insight Kunci: Menurut Google Cloud, prompt engineering yang disiplin + semantic caching mampu memotong 40–60 % biaya token tanpa menurunkan kualitas jawaban.

2. Kerangka FinOps AI: Visibilitas, Optimisasi, Operasionalisasi

FinOps Foundation (State of FinOps 2026) menyarankan siklus tiga fase yang disesuaikan untuk AI:

• Inform — Tagging mandatory project:ai-inference, model:gemini-1.5-pro, env:prod. Integrasi kubecost + cloud billing export ke BigQuery untuk dashboard real-time.
• Optimize — Right-sizing model (distil/quantized), semantic cache (Redis Vector / Vertex AI Feature Store), batch inference untuk beban non-real-time.
• Operate — Guardrails budget per tim via budget alerts + policy-as-code (OPA/Gatekeeper) yang memblokir deployment model baru tanpa approval FinOps.

3. Pola Arsitektur Hemat Biaya (Reference Architecture)

apiVersion: v1
kind: ConfigMap
metadata:
  name: llm-gateway-config
  namespace: ai-inference
data:
  MODEL_ROUTING: |
    simple-task: gemini-1.5-flash-002  # $0.35/1M token
    complex-task: gemini-1.5-pro-002   # $3.50/1M token
    cache-ttl: 3600
  SEMANTIC_CACHE: "redis-vector://cache-ns:6379"
  BUDGET_CAP_USD_DAY: "5000"
---  
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: llm-gateway
  annotations:
    nginx.ingress.kubernetes.io/rate-limit: "100"
    nginx.ingress.kubernetes.io/limit-connections: "50"
spec:
  rules:
  - host: llm.internal.corpid
    http:
      paths:
      - path: /v1/chat/completions
        pathType: Prefix
        backend:
          service:
            name: llm-router
            port:
              number: 8080

Konfigurasi di atas mengimplementasikan model routing otomatis berbasis kompleksitas tugas, semantic cache Redis Vector, dan rate limiting per tenant. Biaya harian dibatasi USD 5.000 melalui BUDGET_CAP_USD_DAY yang dibaca oleh sidecar budget-enforcer.

resource "google_bigquery_dataset" "billing" {
  dataset_id = "finops_billing"
  location   = "asia-southeast2"
}

resource "google_billing_account_project_billing_info" "link" {
  project    = var.project_id
  billing_account_id = var.billing_account
}

resource "helm_release" "kubecost" {
  name       = "kubecost"
  repository = "https://kubecost.github.io/cost-analyzer/"
  chart      = "cost-analyzer"
  namespace  = "finops"
  set {
    name  = "kubecostToken"
    value = var.kubecost_token
  }
  set {
    name  = "prometheus.server.persistentVolume.size"
    value = "50Gi"
  }
  set {
    name  = "kubecostModel.billingExportConfig.billingBigQueryDataset"
    value = google_bigquery_dataset.billing.dataset_id
  }
}

resource "google_monitoring_alert_policy" "daily_ai_spend" {
  display_name = "AI Inference Daily Spend > 80% Budget"
  combiner     = "AND"
  conditions {
    display_name = "Daily AI cost USD"
    condition_threshold {
      filter          = "metric.type=\"kubecost_namespace_cost\" resource.label.namespace_name=\"ai-inference\""
      duration        = "86400s"
      comparison      = "COMPARISON_GT"
      threshold_value = 4000
      aggregations {
        alignment_period     = "86400s"
        per_series_aligner   = "ALIGN_SUM"
        cross_series_reducer = "REDUCE_SUM"
      }
    }
  }
  notification_channels = [google_monitoring_notification_channel.slack.id]
}