Kapan dan Mengapa Butuh Distributed GPU Serving?

Menghitung Kebutuhan Memori untuk Model Skala Besar

Ketika model tidak lagi muat dalam kapasitas memori satu kartu GPU, sistem serving harus didistribusikan ke beberapa GPU.

Rumus Kebutuhan VRAM Total

$\text{VRAM Total} = M_{\text{weights}} + M_{\text{KV\_Cache}} + M_{\text{activations}} + M_{\text{overhead}}$

1. Bobot Model ($M_{\text{weights}}$):
   • FP16 / BF16: $\text{Jumlah Parameter (B)} \times 2 \text{ GB}$ (Model 70B butuh 140 GB).
   • 8-bit Quant (FP8/INT8): $\text{Jumlah Parameter (B)} \times 1 \text{ GB}$ (Model 70B butuh 70 GB).