Apa yang memiliki agen suara AI dan mobil self-driving memiliki kesamaan? Kinerja mereka dapat dievaluasi dengan cara yang sama, demikian menurut Brooke Hopkins, mantan teknisi utama di Waymo. Coval, startup baru Hopkins, bertujuan untuk melakukan hal itu.
“Saat saya meninggalkan Waymo, saya menyadari bahwa banyak masalah yang kami hadapi di Waymo adalah persis seperti yang dihadapi oleh seluruh industri AI,” kata Hopkins (digambar di atas di tengah) kepada TechCrunch. “Tapi semua orang mengatakan bahwa ini adalah paradigma baru, kita harus menemukan praktik pengujian dari prinsip-prinsip pertama dan pada dasarnya kita semua harus menciptakan semuanya. Dan saya melihat itu dan berkata, tunggu, kita telah menghabiskan 10 tahun terakhir dalam mobil self driving mencari tahu cara melakukannya.”
Pada tahun 2024, dia memutuskan untuk meluncurkan Coval, platform yang membangun simulasi untuk agen suara dan obrolan AI yang menguji dan mengevaluasi bagaimana mereka menyelesaikan tugas dengan cara yang sama dengan yang dilakukan Hopkins saat menguji mobil self-driving di Waymo. Coval dapat menjalankan ribuan simulasi secara bersamaan, seperti membuat pemesanan restoran oleh agen atau merespons pertanyaan layanan pelanggan yang diajukan dengan cara tidak langsung.
Teknologi Coval mengevaluasi agen berdasarkan serangkaian metrik umum, tetapi perusahaan juga dapat menyesuaikan apa yang mereka cari dan menggunakan Coval untuk terus mengevaluasi kemunduran. Pengguna juga dapat mengambil data ini, serta wawasan yang mereka peroleh dari data tersebut, dan membawanya kepada pelanggan akhir mereka entah untuk demo atau sebagai alat pemantauan untuk menunjukkan kepada pelanggan bahwa agen bekerja seperti yang diharapkan.
“Salah satu penghalang terbesar bagi agen yang diadopsi oleh perusahaan adalah mereka merasa yakin bahwa ini bukan hanya demo dengan ilusi,” kata Hopkins. “Memilih antara pemasok merupakan tugas yang sangat rumit bagi para eksekutif karena sangat sulit untuk mengetahui apa yang harus Anda minta atau bagaimana Anda ingin membuktikan bahwa agen-agennya melakukan apa yang Anda harapkan. Dan dengan Coval ini memberikan kemampuan bagi perusahaan kami untuk benar-benar menunjukkan dan membuktikannya.”
Hopkins benar-benar merumuskan ide di balik Coval selama program Y Combinator Summer 2024 sebelum meluncurkan produk tersebut secara publik pada bulan Oktober 2024. Dia mengatakan bahwa permintaan kuat dan telah meledak dalam dua bulan terakhir, dengan pelanggan bertanya seberapa cepat mereka bisa mendapatkan agen mereka dievaluasi.
Startup berbasis San Francisco ini sekarang mengumumkan putaran pendanaan sebesar $3,3 juta yang dipimpin oleh MaC Venture Capital dengan partisipasi dari Y Combinator dan General Catalyst. Startup ini akan menggunakan modal tersebut untuk membangun tim rekayasa dan bekerja untuk mencapai kesesuaian produk-pasar. Hopkins menambahkan bahwa perusahaan juga akan bekerja untuk memungkinkan pengguna mengevaluasi jenis agen AI lainnya, seperti agen berbasis web, di masa depan.
Coval muncul ketika momentum — dan histeria — sekitar agen AI tampaknya berada pada puncaknya. Pemimpin teknologi perusahaan seperti Marc Benioff telah memuji (dan memasarkan) teknologi tersebut dengan mengatakan bahwa Salesforce akan mendeploy lebih dari satu miliar agen AI-nya tahun depan. OpenAI kabarnya akan segera merilis versi dari agen AI-nya.
Juga banyak startup yang membangun di sektor ini. Ada lebih dari 100 startup yang membangun agen AI di tiga kohor Y Combinator 2024 saja. Beberapa startup agen AI telah menerima putaran pendanaan modal ventura yang cukup besar juga. Salah satunya, /dev/agents, mendapatkan putaran pendanaan seed sebesar $55 juta dengan valuasi $500 juta pada November 2024, kurang dari setahun setelah didirikan.
Momentum ini berarti kemungkinan akan ada lebih banyak perusahaan yang mencari bantuan untuk mengevaluasi agen mereka juga. Hopkins mengatakan bahwa Coval memiliki peluang bagus untuk menonjol dari yang lain karena, berbeda dengan pesaing baru yang tak terhindarkan, Coval memiliki keunggulan awal.
“Saya pikir di mana kami benar-benar berbeda adalah saya telah bekerja di ruang ini selama setengah dekade dan saya telah membangun sistem-sistem ini berulang kali,” katanya. “Kami telah membangun beberapa iterasi dan kami telah melihat bagaimana kegagalan mereka dan bagaimana mereka berkembang dan kami membangun konsep-konsep yang sama ke dalam Coval dan semua pembelajaran tersebut.”
