Mistral merilis model AI baru yang dioptimalkan untuk laptop dan ponsel

Startup AI Prancis Mistral telah merilis model AI generatif pertamanya yang dirancang untuk dijalankan pada perangkat tepi, seperti laptop dan ponsel.

Keluarga model baru, yang disebut Mistral sebagai “Les Ministraux,” dapat digunakan atau disetel untuk berbagai aplikasi, mulai dari pembuatan teks dasar hingga bekerja bersama dengan model yang lebih canggih untuk menyelesaikan tugas.

Tersedia dua model Les Ministraux — Ministral 3B dan Ministral 8B — keduanya memiliki jendela konteks 128.000 token, yang berarti mereka dapat mencerna kira-kira panjang buku 50 halaman.

“Pelanggan dan mitra kami yang paling inovatif semakin banyak meminta inferensi lokal yang mengutamakan privasi untuk aplikasi penting seperti penerjemahan di perangkat, asisten pintar tanpa internet, analisis lokal, dan robotika otonom,” tulis Mistral dalam sebuah posting blog. “Les Ministraux dibuat untuk menyediakan solusi yang hemat komputasi dan latensi rendah untuk skenario ini.”

Ministral 8B tersedia untuk diunduh mulai hari ini — meskipun hanya untuk tujuan penelitian. Mistral mengharuskan pengembang dan perusahaan yang tertarik dengan pengaturan penyebaran mandiri Ministral 8B atau Ministral 3B untuk menghubunginya guna memperoleh lisensi komersial.

Jika tidak, pengembang dapat menggunakan Ministral 3B dan Ministral 8B melalui platform cloud Mistral, La Platforme, dan cloud lain yang telah bermitra dengan perusahaan rintisan tersebut dalam beberapa minggu mendatang. Ministral 8B berharga 10 sen per juta token output/input (~750.000 kata), sementara Ministral 3B berharga 4 sen per juta token output/input.

Akhir-akhir ini ada tren ke arah model kecil yang lebih murah dan lebih cepat untuk dilatih, disempurnakan, dan dijalankan daripada model yang lebih besar. Google terus menambahkan model ke keluarga model kecil Gemma , sementara Microsoft menawarkan koleksi model Phi . Dalam pembaruan terbaru rangkaian Llama , Meta memperkenalkan beberapa model kecil yang dioptimalkan untuk perangkat keras edge.

Mistral mengklaim bahwa Ministral 3B dan Ministral 8B mengungguli model Llama dan Gemma yang sebanding — serta Mistral 7B miliknya sendiri — pada beberapa tolok ukur AI yang dirancang untuk mengevaluasi kemampuan mengikuti instruksi dan memecahkan masalah.

Mistral yang berkantor pusat di Paris, yang baru-baru ini mengumpulkan $640 juta dalam bentuk modal ventura, terus memperluas portofolio produk AI-nya secara bertahap. Selama beberapa bulan terakhir, perusahaan tersebut telah meluncurkan layanan gratis bagi para pengembang untuk menguji model-modelnya, SDK untuk memungkinkan pelanggan menyempurnakan model-model tersebut, dan model-model baru , termasuk model generatif untuk kode yang disebut Codestral .

Didirikan bersama oleh alumni Meta dan DeepMind milik Google, misi Mistral adalah menciptakan model unggulan yang menyaingi model dengan performa terbaik saat ini, seperti GPT-4o milik OpenAI dan Claude milik Anthropic — dan idealnya menghasilkan uang dalam prosesnya. Meskipun bagian "menghasilkan uang" terbukti menantang ( seperti yang dialami sebagian besar perusahaan rintisan AI generatif ), Mistral dilaporkan mulai menghasilkan pendapatan pada musim panas ini.

Sumber dari: techcrunch