Arsitektur Inferensi LLM: AWS Inferentia2 vs GPU Standar

Memilih infrastruktur komputasi untuk deployment Large Language Model (LLM) seperti arsitektur Gemma atau Llama sering kali bermuara pada trade-off antara efisiensi biaya dan fleksibilitas teknis. Dua pilihan utama saat ini adalah akselerator kustom AWS Inferentia2 (inf2) berbasis NeuronCore-v2 dan GPU standar Nvidia (seperti A10G pada instance g5 atau A100/H100). Artikel ini mengevaluasi perbedaan arsitektural, kendala kompilasi, runtime serving, serta dampaknya terhadap maintainability sistem produksi.

1. Karakteristik Arsitektur Hardware: NeuronCore vs Streaming Multiprocessor

GPU Nvidia mengandalkan arsitektur Streaming Multiprocessor (SM) dengan eksekusi dynamic kernel execution via CUDA. Pendekatan ini memungkinkan GPU menangani ukuran tensor dinamis (dynamic shapes) dan variasi panjang token tanpa overhead kompilasi ulang di awal.

Sebaliknya, chip NeuronCore-v2 pada AWS Inferentia2 dirancang sebagai prosesor systolic array matrix engine yang highly deterministic. NeuronCore mengoptimalkan throughput dan memori latency via statically scheduled computation. Desain ini memaksa arsitektur inferensi untuk memetakan alokasi buffer dan dimensi tensor secara eksplisit sebelum eksekusi.

2. Kendala Kompilasi neuronx-cc dan Dynamic Shapes

Penyedia model LLM modern sering memanfaatkan teknik pemrosesan konteks variabel. Pada Inferentia2, setiap variasi dimensi input membutuhkan kompilasi ahead-of-time (AOT) melalui compiler neuronx-cc. Jika model menerima panjang batch atau sequence yang belum dikompilasi, runtime akan jatuh ke CPU fallback atau memicu kompilasi JIT lambat yang menyebabkan lonjakan latensi tajam (p99 latency spike).

Kompilasi statis dilakukan dengan mengunci dimensi batch_size dan sequence_length menggunakan toolchain Hugging Face optimum-neuron:

optimum-cli export neuron \
    --model google/gemma-2b \
    --batch_size 1 \
    --sequence_length 2048 \
    --auto_cast_type bf16 \
    --num_cores 2 \
    ./gemma-2b-neuron/

Tantangan teknis muncul pada model dengan Grouped-Query Attention (GQA) atau Multi-Head Attention (MHA) asimetris. Compiler neuronx-cc membagi KV-heads ke seluruh NeuronCore yang tersedia. Apabila jumlah key-value heads tidak habis dibagi oleh jumlah NeuronCore tensor-parallel (TP), kompilator harus melakukan padding manual atau replikasi KV-heads yang memakan kapasitas SRAM internal.

3. Kompatibilitas Runtime: vLLM vs Optimum-Neuron

Pada GPU Nvidia, ekosistem standar industri adalah vLLM atau TGI (Text Generation Inference) dengan dukungan PagedAttention native, continuous batching, dan dynamic KV caching tanpa overhead pra-alokasi statis.

Untuk Inferentia2, stack runtime terbagi dua:

• optimum-neuron: Integrasi resmi Hugging Face untuk Neuron SDK. Stabil untuk arsitektur populer, namun menggunakan static KV-cache allocation. Setiap slot konkurensi memesan memori penuh sesuai panjang sekuens maksimum yang ditentukan saat ekspor.
• vLLM-neuron: Adaptasi fork vLLM yang memanfaatkan backend Neuron SDK. Memungkinkan paradigma continuous batching, namun memiliki batasan kompatibilitas pada custom attention operators (misalnya sliding window attention pada Gemma).

4. Perbandingan Teknis: Inferentia2 vs GPU Standar

5. Dampak terhadap Maintenance Pipeline dan CI/CD

Penggunaan Inferentia2 mengubah alur rilis model AI di lingkungan enterprise. Deployment tidak lagi sesederhana menarik bobot baru (weights) dari Hugging Face Hub ke runtime container. Anda harus membangun pipeline serialisasi terpisah:

1. Compilation Step: Model base dikompilasi ke format biner Neuron (.neff) melalui instance build khusus (misal inf2.8xlarge). Waktu kompilasi dapat memakan waktu 20 menit hingga beberapa jam tergantung kompleksitas layer model.
2. Artifact Storage: File .neff yang dihasilkan disimpan dalam artifact registry (S3) sebagai representasi komputasi yang terikat pada versi compiler neuronx-cc tertentu. Update versi Neuron SDK sering kali membutuhkan kompilasi ulang seluruh model.
3. Zero-Downtime Serving: Runtime pod pada Amazon EKS mengunduh artifact biner yang sudah terkompilasi, menghindari overhead startup dan memory starvation saat bootstrap instance.

Catatan Teknis: Jika workload Anda memiliki throughput token yang stabil dan variasi model yang jarang berubah, AWS Inferentia2 memberikan unit economics yang jauh lebih unggul. Namun, jika Anda memerlukan prototyping cepat, implementasi arsitektur eksperimental, atau menangani sequence length yang sangat acak, GPU Nvidia tetap menjadi pilihan yang minim friksi teknis.