Ringkasan
Satu endpoint self-hosted di depan semua model yang dipakai developer, sehingga klien kompatibel OpenAI yang sudah ada tetap berjalan sementara routing, fallback, dan biaya tetap dalam kendali mereka.
Kendala
Melakukan failover antar tier upstream tanpa merusak respons yang sedang di-stream, dan melaporkan penghematan token sebagai angka hasil pengukuran, bukan estimasi dari komponen penghemat itu sendiri.
Pendekatan
Executor mengintip chunk pertama sebelum memilih tier dan menelusuri combo secara berurutan dan transparan; komponen penghemat berjalan dalam pipeline deterministik yang fail open dan diukur ulang dari pesan hasil penulisan ulang, lalu dashboard Vue dikompilasi ke dalam binary beserta migrasi SQLite-nya.
