Peneliti Microsoft mengklaim bahwa mereka telah mengembangkan model AI 1-bit terbesar, juga dikenal sebagai "bitnet," hingga saat ini. Bernama BitNet b1.58 2B4T, model ini tersedia secara terbuka di bawah lisensi MIT dan dapat berjalan pada CPU, termasuk Apple M2.
Bitnets pada dasarnya adalah model terkompresi yang dirancang untuk berjalan pada hardware ringan. Pada model standar, bobot, nilai yang menentukan struktur internal model, seringkali diquantized sehingga model dapat berperforma baik pada berbagai jenis mesin. Mengquantize bobot mengurangi jumlah bit - unit terkecil yang dapat diproses oleh komputer - yang diperlukan untuk merepresentasikan bobot tersebut, memungkinkan model untuk berjalan pada chip dengan memori yang lebih sedikit, lebih cepat.
Bitnets mengquantize bobot menjadi hanya tiga nilai: -1, 0, dan 1. Secara teori, hal ini membuatnya jauh lebih efisien dalam hal pemori dan komputasi daripada kebanyakan model saat ini.
Peneliti Microsoft mengatakan bahwa BitNet b1.58 2B4T adalah bitnet pertama dengan 2 miliar parameter, "parameter" sebagian besar bersinonim dengan "bobot." Dilatih pada set data 4 triliun token - setara dengan kurang lebih 33 juta buku, menurut satu perkiraan - BitNet b1.58 2B4T lebih unggul dibandingkan dengan model tradisional ukuran serupa, klaim para peneliti.
BitNet b1.58 2B4T tidak menjatuhkan model rival dengan 2 miliar parameter, untuk jelasnya, tetapi sepertinya dapat bersaing. Menurut pengujian para peneliti, model ini melampaui Meta's Llama 3.2 1B, Google's Gemma 3 1B, dan Alibaba's Qwen 2.5 1.5B dalam benchmark termasuk GSM8K (kumpulan soal matematika tingkat sekolah dasar) dan PIQA (yang menguji kemampuan penalaran common sense fisik).
Mungkin yang lebih mengesankan, BitNet b1.58 2B4T lebih cepat daripada model lain ukurannya - dalam beberapa kasus, dua kali lipat kecepatannya - sambil menggunakan sebagian kecil memori.
Namun, ada kendala.
Mencapai performa tersebut memerlukan penggunaan framework kustom Microsoft, bitnet.cpp, yang saat ini hanya bekerja dengan hardware tertentu. Tidak termasuk dalam daftar chip yang didukung adalah GPU, yang mendominasi lanskap infrastruktur AI.
Hal ini semua untuk mengatakan bahwa bitnets mungkin menjanjikan, terutama untuk perangkat yang memiliki keterbatasan sumber daya. Namun, kompatibilitas adalah - dan kemungkinan besar akan tetap menjadi - titik pengganjal besar.
