FAISS, Library Open Source Baru Milik Facebook Untuk Big Data

Kemunculan teknologi Machine Learning yang kini semakin pesat telah membawa perubahan besar pada wilayah Big Data yang akhir-akhir ini booming menjadi perbincangan. Dengan besarnya data yang ada ternyata menciptakan hambatan lain. Masalah dari sisi hardware merupakan yang paling terasa. Pengolahan big data membutuhkan bandwidth memory yang tinggi tidak hanya sampai disana kebutuhkan akan prosesor yang mumpuni-pun menjadi tantangan industri besar saat ini. Permintaan terbesar pada pemrosesan big data terbanyak datang pada proses index data titik, pengelompokan dan pencarian.

Peneliti AI (artificial intelligence) dari Facebook yang disebut dengan FAIR akhir-akhir ini mempublikasikan temuannya yang mengatakan dapat mengefesiensikan proses pada pengelompokan dan pencarian kemiripan. Struktur algoritma baru milik mereka ini diclaim memiliki kinerja lebih cepat dari struktur algoritma sebelumnya dan memanfaatkan bandwidth memory GPU yang lebih tinggi dengan hasil yang dikeluarkan melalui perhitungan komputasi.

Baca juga: 8 Bahasa Pemrograman Terpopuler Untuk Machine Learning dan Data Science Di Awal 2017

Berdasarkan penelitan FAIR, mereka telah menciptakan library yang disebut dengan FAISS dan meng-open source-kannya. Sekalipun algoritma untuk pengelompokan dan pencarian kemiripan telah dikenal luas, library ini mampu mengoptimalkan algoritma mereka dengan melakukan efesiensi pada GPU. Beberapa algoritma yang telah diimplementasikan pada library tersebut :

• Fast K-Nearest Neighbour
• QuickSelect
• Warpselect
• K-Means clustering

Sebagai percobaan pada kinerja library ini, gambar di bawah ini merupakan hasil uji coba pencarian dengan memberikan algoritma untuk menghitung transisi menengah gambar pada 95 juta gambar koleksi.

Baca juga: Keluarga Petani Mentimun Asal Jepang Ini Menggunakan Deep Learning dan TensorFlow

Fitur terbaik pada library FAISS :

• Ditulis dalam C++ dengan Python wrapper secara menyeluruh
• Mendukung single/multiple GPU
• Skala tinggi, bisa mendukung hingga 100 dimensi
• Dibangun diatas library BLAS dan CUDA
• 8.5x lebih cepat dibanding dengan library state-of-art yang saat ini ada

Kamu yang penasaran bisa melihatnya pada Github repo library FAISS. Bagaimana tanggapanmu tentang library untuk big data ini, tertarik untuk mencobanya?

Sumber : FAISS: Facebook Just Released A New Open Source Library For Clustering Big Data