Docker Merilis Model Runner untuk Pengembangan Model AI Lokal
Docker memperkenalkan Model Runner dalam Docker Desktop 4.40, memungkinkan pengembang untuk menjalankan model AI secara lokal dengan kemudahan, termasuk dukungan akselerasi GPU pada Apple Silicon dan standarisasi paket model menggunakan OCI Artifacts.
PERUSAHAANTEKNOLOGIAI
Dalam upaya terus-menerus untuk mendukung pengembang dalam membangun aplikasi berkualitas tinggi, termasuk yang didukung oleh generative AI, Docker telah merilis Model Runner sebagai bagian dari pembaruan Docker Desktop 4.40. Fitur ini bertujuan untuk menyederhanakan proses eksekusi model AI secara lokal, menghilangkan kebutuhan akan pengaturan tambahan, perpindahan antar alat, atau penanganan infrastruktur yang rumit.
Fitur Utama Model Runner:
Eksekusi Model Lokal Tanpa Hambatan: Pengembang kini dapat menjalankan model AI langsung dari mesin lokal mereka tanpa memerlukan konfigurasi tambahan, memungkinkan eksperimen dan iterasi yang lebih cepat.
Akselerasi GPU pada Apple Silicon: Model Runner memanfaatkan eksekusi berbasis host untuk langsung terhubung dengan perangkat keras, memberikan peningkatan kinerja signifikan pada perangkat dengan Apple Silicon.
Standarisasi Paket Model dengan OCI Artifacts: Model dikemas sebagai OCI Artifacts, memungkinkan versioning, penyimpanan, dan distribusi melalui registry dan alur kerja CI/CD yang sudah dikenal oleh pengembang.
Baca juga Presiden Trump Naikkan Tarif hingga 104% untuk Produk China
Model Runner didukung oleh llama.cpp dan dapat diakses melalui OpenAI API, membuat proses menjalankan model semudah menjalankan sebuah kontainer. Pada Mac, Model Runner menggunakan eksekusi berbasis host untuk langsung memanfaatkan perangkat keras, mempercepat proses tanpa usaha tambahan.
Pengenalan Model Runner menandai langkah awal Docker dalam menyediakan alat yang lebih komprehensif untuk pengembangan aplikasi berbasis AI. Perusahaan berencana untuk menambahkan dukungan untuk platform tambahan seperti Windows dengan GPU, kemampuan untuk menyesuaikan dan mempublikasikan model, serta integrasi yang lebih dalam ke dalam siklus pengembangan di masa mendatang.
Selain Model Runner, Docker juga memperkenalkan peningkatan pada Docker AI Agent dengan kemampuan MCP (Model Catalog and Packaging), serta memperluas katalog alat AI untuk mendukung pengembang dalam membangun aplikasi AI yang lebih cerdas dan efisien. Fitur-fitur ini dirancang untuk menyederhanakan pengembangan aplikasi AI dan mendukung pengembang dalam menghadirkan solusi inovatif ke pasar dengan lebih cepat.
Dengan peluncuran Model Runner dan inisiatif AI lainnya, Docker menunjukkan komitmennya dalam mendukung pengembang untuk memanfaatkan potensi penuh dari kecerdasan buatan dalam aplikasi mereka, sambil tetap mempertahankan alur kerja yang efisien dan terintegrasi.