Developer Tech News ! Anthropic Luncurkan API Batch Message untuk Pemrosesan Permintaan yang Lebih Efisien

Anthropic baru saja meluncurkan API Batch Message, yang membantu developer memproses banyak permintaan Claude secara hemat biaya dan efisien. Dengan API ini, developer bisa mengirimkan hingga 10.000 permintaan sekaligus. Batch permintaan ini akan diproses dalam waktu kurang dari 24 jam, dengan biaya yang 50% lebih murah dibandingkan panggilan API biasa. Ini adalah langkah besar dalam menangani tugas yang tidak membutuhkan respon segera.

Saat ini, API ini tersedia dalam versi beta publik dan mendukung beberapa model, yaitu Claude 3.5 Sonnet, Claude 3 Opus, dan Claude 3 Haiku. Pengguna Claude di Amazon Bedrock juga sudah bisa menggunakan fitur batch, dan dukungan untuk Vertex AI dari Google Cloud akan segera hadir.

Mengapa pemrosesan cepat ini penting? Karena banyak developer yang menggunakan Claude untuk tugas-tugas seperti analisis umpan balik pelanggan dan terjemahan bahasa, di mana respon cepat tidak selalu diperlukan. Dengan API ini, developer tidak perlu lagi mengatur sistem antrean yang rumit atau khawatir tentang batasan permintaan. Mereka bisa mengirimkan hingga 10.000 permintaan sekaligus, memastikan semuanya diproses dengan mudah dan cepat, sering kali dalam waktu kurang dari 24 jam.

API ini juga menawarkan kapasitas pemrosesan yang lebih tinggi dan batasan laju yang lebih baik, memungkinkan pengelolaan banyak permintaan tanpa mengganggu penggunaan API biasa. Ini juga sangat berguna untuk pemrosesan data skala besar, seperti analisis dataset dan evaluasi model, tanpa perlu khawatir tentang masalah infrastruktur.

Struktur Harga API Batch Message

API Batch Message memungkinkan pengguna untuk menghemat biaya dengan diskon 50% untuk token input dan output. Berikut rincian harganya:

• Claude 3.5 Sonnet

  • Input: $1.50 / MTok
  • Output: $7.50 / MTok

• Claude 3 Opus

  • Input: $7.50 / MTok
  • Output: $37.50 / MTok

• Claude 3 Haiku

  • Input: $0.125 / MTok
  • Output: $0.625 / MTok

Quora, platform tanya jawab berbasis pengguna, memanfaatkan API Batch Message ini untuk tugas seperti membuat ringkasan dan ekstraksi sorotan, yang meningkatkan pengalaman pengguna.

Andy Edmonds, Manajer Produk di Quora, menyatakan: “API Batch Message dari Anthropic membantu kami menghemat biaya dan menyederhanakan proses menjalankan banyak permintaan yang tidak perlu diproses secara langsung.

“Dengan API ini, kami bisa mengirim batch permintaan dan mendapatkan hasil dalam waktu 24 jam, tanpa harus repot menjalankan banyak permintaan secara paralel. Ini memberi kami lebih banyak waktu untuk fokus pada masalah yang lebih menarik.”

Developer yang tertarik untuk mencoba API Batch Message dalam versi beta publik bisa melihat dokumentasi lebih lanjut di sini.