Apa arti kesiapan produksi untuk agen AI suara?

Kesalahan kesiapan yang paling umum adalah memvalidasi percakapan dari transkrip. Transkrip membuat panggilan buruk terlihat baik: ia menyembunyikan jeda saat penelepon mengira putus, diam-diam memperbaiki angka yang diucapkan asal-asalan, dan memuji agen dengan menghapus keraguan yang sebenarnya terdengar oleh penelepon. Dua orang yang membaca transkrip yang sama akan berbeda pendapat soal apakah panggilannya berhasil — audio menyelesaikannya dalam empat detik.

Jadi set ujiannya adalah audio, direkam dengan kondisi nyata yang akan dibawa penelepon: loudspeaker di ruangan bising, pelanggan yang membacakan nomor referensinya terlalu cepat, campuran bahasa Indonesia dan Inggris dalam satu kalimat. Lalu lintas pelanggan Indonesia rutin berganti bahasa di tengah ujaran, dan transkrip yang disetel untuk satu bahasa akan kehilangan kata-kata di sekitar pergantian itu, bukan pergantiannya.

Satu: apakah ia mengenali ucapan penelepon yang sebenarnya, termasuk angkanya? Salah dengar yang mengubah sebuah total adalah insiden dukungan dengan nama lain. Dua: apa yang terjadi saat penelepon memotong? Kalau agen berbicara di atasnya, ia harus berhenti di tengah kata dan memperhatikan ulang; kalau tidak, penelepon akan menyimpulkan sistemnya tidak mendengarkan dan mulai mengulang dirinya sendiri.

Tiga: ke mana ia menyerahkan? Agen suara tanpa jalur ke manusia adalah tembok, dan penelepon akan escalate ke tembok itu. Penyerahan harus bisa dicapai dengan mengucapkan satu kata biasa, dan harus membawa konteks, supaya manusia tidak membuat penelepon mengulang semua yang sudah didengar agen. Empat: apa yang bisa ia lakukan ke sistem nyata, dan apa yang menghentikannya? Refund, blokir, perubahan alamat — masing-masing butuh batas yang tidak bisa dilampaui agen dengan penalaran apa pun.

UAT untuk agen suara bukan perburuan bug; itu gladi resik. Saya menjalankannya sebagai skenario nyata dengan batas-batasnya: pembatalan yang sulit, penelepon yang marah, yang tidak punya datanya, dan yang meminta sesuatu yang tegasnya tidak boleh dilakukan agen. Yang saya ukur apakah tepi sistem berada tepat di tempat bisnis menaruhnya, dan apakah manusia di ujung penyerahan itu bisa menyelesaikan pekerjaannya.

Bagian pekerjaan saya itu datang dari operasional, bukan riset, dan itu sebabnya saya memperlakukan kesiapan peluncuran sebagai disiplin pengujian, bukan suasana hati. Alur kerja yang menghubungkan transkripsi, model, suara, dan alat bisnis itu bertahan saat bersentuhan dengan penelepon nyata atau tidak — dan satu-satunya cara tahu sebelum pelanggan yang tahu adalah meneleponnya sendiri, dalam keadaan bising.