Setahun yang lalu, Databricks mengakuisisi MosaicML seharga $1.3 miliar. Sekarang dengan nama baru Mosaic AI, platform tersebut telah menjadi bagian integral dari solusi AI Databricks. Hari ini, di Data + AI Summit perusahaan, diluncurkan sejumlah fitur baru untuk layanan tersebut. Sebelum pengumuman, saya berbicara dengan pendiri Databricks CEO Ali Ghodsi dan CTO Matei Zaharia.
Databricks meluncurkan lima alat Mosaic AI baru dalam konferensinya: Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Tools Catalog, Mosaic AI Model Training, dan Mosaic AI Gateway.
“Telah menjadi tahun yang luar biasa – perkembangan besar dalam Gen AI. Semua orang sangat antusias,” kata Ghodsi kepada saya. “Tetapi hal-hal yang paling penting tetap tiga hal: bagaimana kita meningkatkan kualitas atau keandalan model ini? Nomor dua, bagaimana kita memastikan bahwa itu efisien dari segi biaya? Dan ada perbedaan yang sangat besar dalam biaya antara model di sini – perbedaan biaya yang sangat besar. Dan ketiga, bagaimana kita melakukannya dengan cara yang menjaga privasi data kita?”
Peluncuran hari ini bertujuan untuk menangani kebanyakan kekhawatiran ini bagi pelanggan Databricks.
Zahiran juga mencatat bahwa perusahaan yang sekarang menerapkan model bahasa besar (LLMs) ke produksi menggunakan sistem yang memiliki beberapa komponen. Itu sering berarti mereka melakukan beberapa panggilan ke suatu model (atau mungkin beberapa model juga), dan menggunakan berbagai alat eksternal untuk mengakses database atau melakukan pengambilan augmentasi generasi (RAG). Sistem-sistem campuran ini mempercepat aplikasi berbasis LLM, menghemat uang dengan menggunakan model yang lebih murah untuk kueri tertentu atau hasil penyimpanan cache, dan, mungkin yang terpenting, membuat hasil menjadi lebih dapat dipercaya dan relevan dengan mengaugmentasi model dasar dengan data properti.
“Kami pikir itu adalah masa depan aplikasi AI yang benar-benar berdampak tinggi,” jelasnya. “Karena jika Anda berpikir tentang itu, jika Anda melakukan sesuatu yang benar-benar kritis, Anda akan ingin insinyur dapat mengendalikan semua aspeknya – dan Anda melakukannya dengan sistem modular. Jadi kami sedang mengembangkan banyak penelitian dasar tentang cara terbaik untuk membuat ini [sistem] untuk tugas tertentu sehingga pengembang dapat dengan mudah bekerja dengan mereka dan menghubungkan semua bagian, melacak semua hal, dan melihat apa yang terjadi.”
Dalam membangun sistem-sistem ini, Databricks meluncurkan dua layanan minggu ini: Kerangka Kerja AI Agen Mosaic dan Katalog Alat AI Mosaic. Kerangka Kerja AI Agen mengambil fungsionalitas pencarian vektor serverless perusahaan, yang menjadi umum bulan lalu dan menyediakan pengembang dengan alat untuk membangun aplikasi berbasis RAG mereka sendiri di atasnya.
