Pada orkestrasi multi-agent (seperti pola Waggle atau Model Context Protocol/MCP), agent saling bertukar referensi konteks alih-alih meneruskan payload data besar secara langsung. Referensi ini berupa token unik berukuran ringkas (~32 byte) yang mewakili artefak eksekusi. Ketika volume transaksi meningkat hingga jutaan operasi per hari, query resolusi token menuju tabel artefak utama mengalami penurunan performa akibat ukuran indeks yang membengkak, fragmentasi memori, dan overhead heap fetch yang tidak perlu.
Penyebab Bottleneck Resolusi Token
Pola resolusi token menghadapi tiga masalah mendasar di tingkat storage engine PostgreSQL:
- Tipe Data String yang Boros: Menyimpan hash token sebagai
VARCHAR(64)atauTEXT(representasi hex encoding) memakan memori dua kali lebih besar dibanding format biner aslinya. Ukuran key yang besar menurunkan kapasitas halaman B-Tree (default 8KB), memaksa PostgreSQL memuat lebih banyak buffer dari disk. - I/O Bloat Akibat TOAST: Menyimpan metadata ringkas dan payload berukuran megabyte di baris yang sama menyebabkan buffer pool churn. Operasi resolusi yang hanya memerlukan metadata tetap harus memeriksa baris yang memiliki referensi ke storage TOAST.
- Random I/O pada B-Tree: Hash kriptografis bersifat acak seragam. Setiap penambahan record memicu modifikasi leaf page B-Tree di lokasi acak, memicu fragmentasi dan mengurangi efektivitas PostgreSQL shared buffers.
Desain Skema Content-Addressed dan Kolom Bytea
Solusi pertama adalah memastikan representasi hash disimpan dalam format biner fixed-size menggunakan tipe data bytea. Pendekatan content-addressed menjamin idempotensi: payload yang sama menghasilkan hash yang identik, mencegah duplikasi penyimpanan.
-- Skema terpisah: Metadata ringan dan Payload besar (TOAST-isolated)
CREATE TABLE artifact_nodes (
token_hash BYTEA NOT NULL,
session_id UUID NOT NULL,
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
mime_type VARCHAR(64) NOT NULL,
byte_size INT NOT NULL,
payload BYTEA, -- Terkompresi dan masuk TOAST jika melebihi batas threshold
CONSTRAINT pk_artifact_nodes PRIMARY KEY (created_at, token_hash)
) PARTITION BY RANGE (created_at);
Penggunaan token 32-byte (misalnya representasi SHA-256 binary) langsung memotong konsumsi storage index sebesar 50% dibandingkan string hex 64-karakter, memaksimalkan cache hit ratio pada shared_buffers.
Strategi Index B-Tree Content Addressing
Dalam skenario handoff antar-agent, pola query utama umumnya adalah mencari token dalam ruang lingkup sesi tertentu atau mencari token murni secara global. Pengindeksan yang tepat menentukan apakah PostgreSQL cukup melakukan Index Only Scan atau harus mengakses heap data.
1. Komposit B-Tree untuk Filtering Berbasis Tenant/Sesi
Jika resolusi selalu dibatasi oleh session_id, letakkan kolom selektif di posisi terdepan:
CREATE INDEX idx_artifacts_session_token
ON artifact_nodes (session_id, token_hash);
2. Covering Index untuk Menghindari Read Bloat
Ketika agent hanya perlu memverifikasi keberadaan data, tipe, dan ukuran payload sebelum mengunduh isinya, manfaatkan klausul INCLUDE. Hal ini memungkinkan resolusi metadata selesai di tingkat indeks tanpa menyentuh disk heap (Heap Fetch = 0):
CREATE INDEX idx_artifacts_covering_resolution
ON artifact_nodes (token_hash)
INCLUDE (mime_type, byte_size);
Query resolusi metadata berjalan secara optimal:
-- Query ini diproses sepenuhnya melalui Index Only Scan
SELECT mime_type, byte_size
FROM artifact_nodes
WHERE token_hash = decode('a3f5b7...', 'hex');
Partisi Waktu untuk Mitigasi Index Degenerasi
Tabel yang terus bertambah akan membuat indeks B-Tree melampaui kapasitas RAM. Pola akses agentic AI umumnya berkonsentrasi pada konteks terkini (beberapa jam hingga beberapa hari terakhir). Partisi deklaratif berbasis rentang waktu (RANGE) membatasi ukuran indeks aktif ke dalam memori kerja.
-- Contoh partisi harian
CREATE TABLE artifact_nodes_y2026m03d30 PARTITION OF artifact_nodes
FOR VALUES FROM ('2026-03-30 00:00:00+00') TO ('2026-03-31 00:00:00+00');
CREATE TABLE artifact_nodes_y2026m03d31 PARTITION OF artifact_nodes
FOR VALUES FROM ('2026-03-31 00:00:00+00') TO ('2026-04-01 00:00:00+00');
Dengan partisi waktu, eksekusi query yang menyertakan rentang waktu eksekusi langsung memanfaatkan partition pruning, mengeliminasi pembacaan index partition yang sudah tidak aktif.
Pemisahan Pipeline Resolusi Token dan Pengambilan Payload
Kesalahan umum implementasi adalah langsung mengeksekusi SELECT * pada tabel artefak saat verifikasi token. Strategi dua fase (Two-Phase Resolution) wajib diterapkan di layer aplikasi:
- Fase Header Resolution: Ambil token, status validasi, dan metadata via covering index.
- Fase Lazy Hydration: Ambil kolom
payloadhanya jika agent penerima benar-benar membutuhkan isi file/konteks tersebut untuk komputasi LLM selanjutnya.
-- Langkah 1: Resolusi ringan
SELECT byte_size, mime_type
FROM artifact_nodes
WHERE token_hash = $1;
-- Langkah 2: Dijalankan hanya bila payload diperlukan
SELECT payload
FROM artifact_nodes
WHERE token_hash = $1;
Pendekatan ini menghentikan kontaminasi buffer pool PostgreSQL oleh blok TOAST data berukuran masif, memastikan throughput resolusi token tetap stabil di bawah 2 milidetik pada volume konkurensi tinggi.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!