AI Agent Analytics di AgentFlow membantu Anda memahami bagaimana performa AI agent yang sudah dijalankan. Fitur ini memberikan visibilitas pada keandalan agent, penggunaan pengetahuan, kualitas prospek (lead), dan biaya, sehingga memudahkan Anda mengoptimalkan alur, memperbaiki logika fallback, dan merencanakan kebutuhan tim.

Artikel ini akan membahas metrik utama yang tersedia di dasbor, cara mengakses dan memfilter data, serta wawasan apa saja yang bisa Anda dapatkan.

Manfaat dan Kegunaan

Manfaat menggunakan Analitik AI Agent

Sebelum deployment (perencanaan dan pengaturan):

• Sumber pengetahuan yang tidak jelas penggunaannya: Identifikasi konten mana yang berguna atau perlu diperbarui sebelum diluncurkan.
• Kontrol biaya terbatas: Perkirakan potensi penggunaan kredit per percakapan dan rencanakan batas pemakaian.
• Tingkat handoff antar-channel yang belum diketahui: Gunakan data per channel untuk menentukan cara merutekan percakapan atau menyesuaikan penugasan tim.

Setelah deployment (pemantauan dan optimalisasi):

• Tidak ada visibilitas pada perilaku agent: Lacak performa agent di berbagai alur dan channel.
• Tidak bisa mendiagnosis alasan AI keluar: Temukan error sistem, respons dengan kepercayaan rendah, dan handover yang sering terjadi.
• Sulit mengukur nilai bisnis: Visualisasikan skor prospek dan tingkat handoff untuk menilai efektivitas AI.
• Insight per channel yang terfragmentasi: Bandingkan performa agent di WhatsApp, Instagram, dan lainnya.

Use Cases Umum

• Pemantauan keandalan dan penyesuaian guardrails: Sesuaikan logika fallback dan ambang batas berdasarkan pola keluar agent.
• Audit cakupan pengetahuan: Identifikasi dokumen yang sering digunakan atau diabaikan untuk menyempurnakan pengetahuan dasar global Anda.
• Perencanaan staf dan perutean per channel: Pantau persentase handoff per platform untuk mengatur dukungan manusia lebih efektif.
• Visibilitas dan kontrol biaya: Tinjau tren penggunaan kredit dan ekspor data untuk pelacakan keuangan.
• Pelacakan kualitas prospek: Gunakan rata-rata skor prospek untuk menilai apakah agent menjangkau pengguna yang tepat.
• Troubleshooting pasca-deployment: Selidiki masalah setelah meluncurkan flow, prompt, atau campaign baru.

Mengakses dashboard Analitik Agent AI

1. Klik ikon di bilah navigasi kiri untuk membuka halaman I.
2. Pada panel menu bagian atas, klik Analytics.
   
3. Di dalam dashboard AI Agent Analytics, kamu bisa memilih agen AI yang sudah ada melalui dropdown “AI agent” untuk menelusuri performa agen tertentu secara lebih detail.

Mengatur rentang tanggal

Dashboard AI Agent Analytics hanya menampilkan data sesuai periode yang dipilih.

• Secara default, dahboard menampilkan data dari 7 hari terakhir.
• Anda bisa mengubah filter Date range di bagian atas halaman untuk melihat tren historis atau memperbesar fokus pada periode tertentu.
  
• Semua grafik dan tabel akan diperbarui berdasarkan rentang yang Anda pilih.

Pastikan untuk memilih rentang tanggal yang lebih panjang jika Anda ingin meninjau tren kinerja mingguan atau bulanan.

Memahami metrik

Dasbor AI Agent Analytics dibagi menjadi 4 bagian utama. Setiap bagian menampilkan dimensi berbeda dari performa AI agent Anda — mulai dari volume dan keandalan hingga biaya dan hasil bisnis. Gunakan wawasan ini untuk memantau tren, menyelesaikan masalah, dan mengevaluasi dampak AI terhadap pengalaman pelanggan Anda.

Data diperbarui sekali sehari pada pukul 12 AM UTC. Gunakan wawasan ini untuk memantau tren, menyelesaikan masalah, dan mengevaluasi dampak AI terhadap pengalaman pelanggan Anda.

Percakapan

Bagian ini membantu Anda memahami seberapa sering AI agent yang dipilih dijalankan, seberapa aktif percakapannya, dan dari mana lalu lintas berasal. Gunakan metrik ini untuk melacak adopsi, mendiagnosis performa flow, dan mengukur seberapa efektif agent Anda digunakan di berbagai channel.

Total percakapan yang ditangani

Grafik garis ini menunjukkan jumlah total percakapan yang melibatkan AI agent yang dipilih selama rentang tanggal yang ditentukan.

Apa yang ditunjukkan:

• Sebuah percakapan dihitung ketika AI agent dipicu dan merespons setidaknya satu kali.
• Setiap titik data merepresentasikan total harian dalam periode waktu yang dipilih.

Bagaimana bisa membantu:

• Membantu Anda melacak seberapa sering AI agent digunakan.
• Gunakan metrik ini untuk memantau perubahan volume keterlibatan setelah kampanye, pembaruan flow, atau perubahan konfigurasi bot.

Rata-rata pesan yang dikirim per percakapan

Bagan ini menampilkan jumlah rata-rata pesan yang dikirim oleh AI agent yang dipilih dalam setiap percakapan.

Apa yang ditunjukkan:

• Setiap baris menampilkan nama flow dan berapa banyak percakapan yang dimulainya dengan AI agent yang dipilih.
• Hanya flow yang benar-benar diarahkan ke AI agent yang dihitung.

Bagaimana bisa membantu:

• Memungkinkan Anda membandingkan efektivitas dari berbagai titik masuk percakapan.
• Membantu Anda mengidentifikasi flow yang kurang optimal dan mungkin memerlukan penyesuaian dalam penargetan, pengaturan, atau visibilitas.

Flow yang dipicu berdasarkan channel

Tabel ini menunjukkan seberapa sering agent AI yang dipilih terlibat dalam flow yang dipicu dalam setiap channel pesan yang terhubung.

Apa yang ditampilkan:

• Merinci alur yang dipicu AI berdasarkan kanal asal (misalnya WhatsApp, Web Chat, Instagram).
• Termasuk semua alur di mana AI agent yang dipilih digunakan.

Bagaimana bisa membantu:

• Membantu Anda membandingkan penggunaan AI di berbagai platform.
• Jika kanal yang terhubung menunjukkan aktivitas yang sangat rendah, hal ini bisa menandakan adanya masalah konfigurasi atau kurangnya visibilitas kanal.

Perilaku AI agent

Di bagian ini, Anda akan menemukan metrik yang membantu memantau seberapa sering AI agent keluar dari percakapan dan sumber pengetahuan mana yang digunakan untuk menghasilkan balasan.

Frekuensi keluar berdasarkan alasan

Tabel ini menunjukkan jumlah total percakapan di mana AI agent yang dipilih keluar, dikelompokkan berdasarkan alasan keluar.

Apa yang ditampilkan:

• Setiap baris menunjukkan alasan spesifik mengapa agen AI mengakhiri percakapan.
• Alasan keluar mencakup:
  • Bicara dengan manusia – AI mengalihkan percakapan ke agen manusia, baik karena logika fallback terpicu atau atas permintaan pengguna.
  • Kesalahan sistem – AI keluar karena masalah teknis, seperti waktu habis (timeout) atau prompt yang gagal.
  • Kepercayaan rendah – AI tidak dapat menghasilkan jawaban yang meyakinkan dan memilih keluar agar tidak memberikan respons yang buruk.
  • Skor prospek tinggi – Jika diatur, AI keluar saat percakapan mencapai skor prospek tertentu, biasanya untuk meneruskan prospek berkualitas kepada tim manusia.

Manfaatnya:

• Melacak alasan keluar membantu Anda memahami dan meningkatkan kinerja AI:
• Jumlah Kepercayaan rendah yang tinggi bisa menunjukkan ada konten yang kurang atau tidak jelas di basis pengetahuan Anda.
• Kesalahan sistem yang sering terjadi bisa menandakan ada masalah pada prompt atau pengaturan penerapan agen.
• Bicara dengan manusia yang terlalu sering bisa berarti AI belum cukup terlatih untuk menangani pertanyaan umum — pertimbangkan untuk memperluas cakupannya.
• Skor prospek tinggi membantu memastikan bahwa logika kualifikasi prospek bekerja sebagaimana mestinya.

Sumber data yang digunakan

Tabel ini menunjukkan seberapa sering agen AI yang dipilih merujuk ke setiap sumber basis pengetahuan saat menjawab pesan pengguna.

Apa yang ditampilkan:

• Setiap baris menampilkan sumber data yang telah ditautkan ke AI agent ini, termasuk file yang diunggah, URL yang diindeks, atau jawaban kustom.
• Jumlah menunjukkan berapa kali sumber tersebut dirujuk selama percakapan yang ditangani oleh agent dalam rentang tanggal yang dipilih.

Bagaimana bisa membantu:

• Membantu Anda mengidentifikasi sumber mana yang benar-benar berkontribusi pada balasan — dan mana yang sama sekali tidak digunakan.
• Jika suatu sumber memiliki penggunaan nol atau sangat rendah, hal ini bisa berarti:
  • Kontennya tidak relevan dengan pertanyaan pengguna.
  • Sumber tidak diindeks dengan benar atau tidak dapat dibaca.
  • Flow atau AI agent tidak dikonfigurasi untuk mengakses sumber tersebut.

 

Lead score dan AI handover

Bagian ini membantu Anda menilai seberapa baik AI agent yang dipilih dalam mengkualifikasi prospek serta seberapa sering ia mengeskalasi percakapan ke agen manusia. Metrik ini memberi wawasan tentang kualitas interaksi sekaligus batasan otomatisasi AI Anda.

 

Rata-rata lead score per percakapan

Grafik garis ini menunjukkan rata-rata lead score dari semua kontak yang berbicara dengan AI agent yang dipilih selama periode waktu tertentu.

Apa yang ditampilkan:

• Lead score dihitung berdasarkan aturan yang Anda tetapkan di workspace (melalui properti kontak atau Flow Builder).
• Grafik ini menampilkan rata-rata skor tersebut untuk memberi gambaran tentang kualitas prospek yang masuk melalui percakapan AI.

Bagaimana bisa membantu:

• Rata-rata lead score yang lebih tinggi dapat menunjukkan bahwa AI agent Anda berhasil menarik atau mengkualifikasi prospek yang lebih baik.
• Penurunan skor secara tiba-tiba bisa menandakan adanya perubahan dalam targeting, pesan, atau logika agent yang justru menarik pengguna kurang relevan.

Catatan: Metrik ini hanya muncul jika lead scoring diaktifkan di properti kontak atau pengaturan agent.

 

Rata-rata tingkat handover percakapan

Menunjukkan persentase percakapan yang ditangani AI tetapi akhirnya dialihkan ke staf manusia, baik karena logika Exit conversation yang telah dikonfigurasi, rendahnya tingkat kepercayaan, atau permintaan pelanggan.

Apa yang ditampilkan:

Tingkat handover dihitung dengan membagi jumlah handover dengan total percakapan AI selama periode yang dipilih.

Bagaimana membantu:

Tingkat handover yang tinggi dapat menandakan bahwa agent Anda belum siap menangani topik tertentu, atau ambang batas fallback terlalu sensitif.

Tingkat handover yang rendah bisa menjadi tanda baik, tetapi hanya jika kebutuhan pengguna benar-benar terpenuhi (bukan justru terabaikan).

Penggunaan Kredit

Bagian ini membantu Anda memantau berapa banyak kredit SleekFlow AI yang dikonsumsi oleh agent terpilih, baik secara total maupun rata-rata per percakapan. Wawasan ini membantu Anda memahami dampak biaya, melacak efisiensi, dan merencanakan penggunaan kredit dengan lebih efektif di berbagai flow, channel, dan tipe agent.

Kredit yang digunakan

Grafik garis ini menunjukkan total jumlah kredit SleekFlow AI yang dikonsumsi oleh AI agent terpilih selama rentang tanggal yang dipilih.

Apa yang ditampilkan:

• Termasuk semua kredit yang digunakan oleh AI agent saat membalas pengguna, terlepas dari hasilnya (misalnya balasan berhasil, keluar karena confidence rendah).
• Setiap titik data mencerminkan total penggunaan harian berdasarkan rentang tanggal yang dipilih.

Bagaimana bisa membantu:

• Memungkinkan Anda memantau pola penggunaan secara keseluruhan dan dampak biaya dari waktu ke waktu.
• Lonjakan penggunaan dapat menandakan lalu lintas yang lebih tinggi, percakapan yang panjang, atau logika flow yang kurang efisien.
• Berguna untuk meninjau tren setelah perubahan pada flow, prompt, atau logika fallback.

Rata-rata kredit yang digunakan per percakapan

Grafik ini menunjukkan rata-rata jumlah kredit yang dikonsumsi setiap kali AI agent yang dipilih menangani sebuah percakapan.

Apa yang ditampilkan:

• Dihitung dengan membagi total kredit yang digunakan dengan jumlah percakapan yang ditangani.
• Mencerminkan efisiensi agent dalam hal konsumsi kredit.

Bagaimana bisa membantu:

• Rata-rata yang lebih tinggi dapat menunjukkan percakapan yang lebih panjang atau kompleks — atau pengaturan prompt yang kurang efisien.
• Rata-rata yang konsisten rendah dapat mencerminkan flow yang dioptimalkan, percakapan singkat, atau balasan dengan tingkat confidence tinggi.
• Membantu Anda membandingkan efisiensi antar agent atau use case, terutama jika Anda memantau biaya AI secara ketat.

Cara menggunakan AI Agent Analytics untuk meningkatkan AI agent Anda

Gunakan insight dari setiap bagian untuk terus menyempurnakan pengaturan AI agent:

• Kurangi early exit: Periksa metrik Exit occurrences by reason untuk menemukan titik kegagalan yang umum. Sesuaikan logika fallback atau perluas cakupan knowledge sesuai kebutuhan.
• Rapikan knowledge base: Gunakan metrik Data sources used untuk menemukan konten yang tidak terpakai atau berkinerja rendah. Hapus yang tidak relevan dan tambahkan yang masih kurang.
• Tingkatkan desain flow: Tinjau Conversations per flow dan Flows by channel untuk melihat journey mana yang efektif. Sesuaikan entry point atau targeting untuk flow dengan volume rendah.
• Validasi kualitas lead: Gunakan Average lead score untuk melacak apakah AI agent Anda menarik pengguna yang tepat. Kombinasikan dengan tingkat handover untuk menyesuaikan logika kualifikasi.
• Kelola penggunaan kredit: Pantau Credits used dan Average credits per conversation untuk mengendalikan biaya dan mengidentifikasi celah efisiensi.