Membangun sistem Voice AI real-time menuntut keseimbangan ketat antara latensi interaksi manusia (human-to-human latency target < 500 ms) dan efisiensi biaya infrastruktur. Pilihan utama arsitektur terbagi menjadi pemrosesan lokal (on-device/edge hardware), offloading ke cloud orchestration agent, atau pendekatan hybrid.

Perbandingan Komponen Pipeline: Edge vs Cloud

Pipeline voice-to-voice standar terdiri dari tiga tahap: Automatic Speech Recognition (ASR), Natural Language Processing / Large Language Model (LLM), dan Text-to-Speech (TTS). Lokasi eksekusi ketiga komponen ini menentukan profil sistem secara keseluruhan.

  • Full Cloud Orchestration: Perangkat edge hanya menangani akuisisi audio (PCM via mikrofon) dan streaming via WebSockets/WebRTC ke server. Seluruh inferensi ASR, LLM, dan TTS dieksekusi di cloud instance.
  • Pure Edge Processing: Eksekusi model terkuantisasi (misalnya Whisper.tflite, quantized Llama 3 via llama.cpp, dan Piper TTS) berjalan langsung pada NPU/GPU lokal seperti Raspberry Pi 5, Rockchip RK3588, atau Apple Silicon.
  • Hybrid Pipeline: Eksekusi ASR dan deteksi Voice Activity (VAD) dilakukan di edge. Teks hasil transkripsi dikirim ke cloud LLM untuk penalaran kompleks, lalu respons diubah menjadi audio melalui streaming TTS cloud atau model TTS lokal berbobot ringan.

Analisis Trade-off Sistemik

1. Latensi Respons dan Bandwidth

Cloud orchestration terbebani oleh network Round-Trip Time (RTT). Mengirim raw audio 16-bit 16kHz mono memerlukan throughput konsisten ~256 kbps. Jitter jaringan dapat merusak parsing framing audio pada ASR.

Sebaliknya, arsitektur edge memangkas RTT jaringan menjadi nol. VAD lokal (seperti Silero VAD) memutus transmisi paket kosong secara instan. Pada sistem hybrid, bandwidth terpangkas drastis karena transmisi teks (JSON payload) hanya memerlukan beberapa ratus byte per interaksi, bukan megabyte data streaming audio berkelanjutan.

2. OpEx: Token LLM dan Biaya Cloud TTS

Cloud voice agent membebankan biaya per menit audio (ASR/TTS API) dan per token input/output LLM. Layanan managed cloud speech rata-rata membebankan $0.01 hingga $0.024 per menit audio, ditambah biaya GPU serverless. Pada volume 10.000 pengguna aktif harian, biaya operasional dapat melonjak tinggi.

Edge hardware mengubah biaya operasional (OpEx) menjadi belanja modal awal (CapEx). Komputasi edge tidak mengenakan biaya per token. Namun, keterbatasan VRAM edge membatasi parameter LLM (sering kali terbatas pada model 1B-3B terkuantisasi 4-bit), yang mengurangi kapabilitas penalaran sistem jika dibandingkan dengan model frontier cloud.

3. Kompleksitas Hardware dan Termal

Menjalankan model multimodal pada edge menuntut akselerator perangkat keras (NPU/TPU), manajemen daya baterai yang ketat, serta pendinginan aktif/pasif untuk mencegah thermal throttling. Desain hardware edge rentan terhadap penurunan frame audio jika CPU/NPU mencapai batas utilitas maksimum.

Pola Implementasi Hybrid: Edge VAD/ASR ke Cloud LLM

Arsitektur hybrid optimal memanfaatkan deteksi suara lokal untuk menghemat bandwidth dan biaya API audio, namun tetap mempertahankan daya penalaran model cloud. Berikut contoh implementasi client orchestration Python yang mengeksekusi VAD/ASR lokal lalu mengalirkan token ke cloud LLM dengan fallback offline:

import asyncio
import httpx

class HybridVoiceAgent:
    def __init__(self, local_asr_pipeline, cloud_endpoint: str, timeout_sec: float = 2.0):
        self.asr = local_asr_pipeline
        self.cloud_endpoint = cloud_endpoint
        self.timeout = timeout_sec
        self.local_fallback_llm = self._load_local_tiny_model()

    def _load_local_tiny_model(self):
        # Stub: model bahasa lokal berukuran kecil (misal: quantized 1B parameter)
        return lambda text: f"[Offline Response] Memproses: {text}"

    async def process_speech(self, audio_frames: bytes) -> str:
        # 1. Edge ASR: Mengubah audio menjadi teks secara lokal
        text_prompt = self.asr.transcribe(audio_frames)
        if not text_prompt.strip():
            return ""

        # 2. Cloud LLM dengan Circuit Breaker / Timeout Fallback
        try:
            async with httpx.AsyncClient(timeout=self.timeout) as client:
                res = await client.post(
                    self.cloud_endpoint,
                    json={"prompt": text_prompt},
                    headers={"Authorization": "Bearer CLOUD_API_KEY"}
                )
                if res.status_code == 200:
                    return res.json().get("text", "")
                raise httpx.RequestError("Status code non-200")
        except (httpx.RequestError, httpx.TimeoutException):
            # 3. Fallback: Eksekusi model lokal ketika jaringan terputus/lambat
            return self.local_fallback_llm(text_prompt)

# Contoh penggunaan
# agent = HybridVoiceAgent(local_asr_pipeline=whisper_local, cloud_endpoint="https://api.internal/v1/chat")
# response_text = asyncio.run(agent.process_speech(raw_pcm_audio))

Strategi Fallback dan Reliabilitas

Dalam sistem voice agent kritis, kegagalan koneksi tidak boleh menyebabkan kegagalan total (hard crash). Tiga mekanisme fallback yang wajib diimplementasikan:

  1. Local Speech Caching: Simpan respons audio terkompresi untuk intent umum (seperti error handling, network reconnecting warning) langsung di storage lokal edge. Hal ini mencegah dead silence jika streaming gagal.
  2. Intent-based Routing: Analisis intent cepat menggunakan classifier lokal kecil. Perintah sederhana (misal: kontrol hardware, volume, saklar) ditangani 100% di edge tanpa dependensi cloud. Perintah kompleks diarahkan ke cloud.
  3. Graceful Degradation: Jika koneksi mengalami packet loss > 5%, sistem otomatis beralih dari cloud neural TTS ke local formant/lightweight TTS engine.

Panduan Pemilihan Arsitektur

Pilihlah Pure Cloud jika target produk berupa mobile application dengan variasi perangkat luas, tidak memiliki budget riset integrasi hardware, dan interaksi menuntut pemahaman konteks mendalam dari LLM skala besar.

Pilihlah Pure Edge jika aplikasi berjalan pada dedicated hardware dengan spesifikasi terkontrol, membutuhkan zero-dependency terhadap internet (aplikasi industri atau medis), dan privasi data mutlak diperlukan tanpa data audio keluar dari perangkat.

Pilihlah Hybrid jika menginginkan latensi interaksi input instan, biaya operasional cloud speech yang terkontrol, namun tetap memerlukan penalaran penalaran kompleks yang hanya tersedia di server LLM terpusat.