Layanan mikro NIM yang baru memungkinkan bisnis, lembaga pemerintah, dan universitas untuk meng-host LLM asli di lingkungan mereka sendiri, sehingga memungkinkan pengembang untuk membangun copilot, chatbot, dan asisten AI yang c
Mengembangkan Aplikasi dengan Layanan Mikro NIM Sovereign AI
Pengembang dapat dengan mudah menggunakan model AI Sovereign, yang dikemas sebagai layanan mikro NIM, ke dalam produksi sambil mencapai peningkatan kinerja.
Layanan mikro, yang tersedia dengan NVIDIA AI Enterprise, dioptimalkan untuk inferensi dengan pustaka sumber terbuka NVIDIA TensorRT-LL
Layanan mikro NIM untuk Llama 3 70B – yang digunakan sebagai model dasar untuk layanan mikro NIM Llama-3-Swallow-70B dan Llama-3-Taiwan-70B yang baru – dapat memberikan throughput hingga 5x lebih tinggi. Hal ini menurunkan total biaya untuk menjalankan model dalam produksi dan memberikan pengalaman pengguna yang lebih baik dengan mengurangi latensi.
Layanan mikro NIM yang baru tersedia saat ini sebagai antarmuka pemrograman aplikasi yang dihosting (API).
Memanfaatkan NIM NVIDIA untuk Hasil AI Generatif yang Lebih Cepat dan Akurat
Layanan mikro NIM mempercepat penerapan, meningkatkan kinerja secara keseluruhan, dan memberikan keamanan yang diperlukan bagi organisasi di seluruh industri global, termasuk perawatan kesehatan, keuangan, manufaktur, pendidikan, dan hukum.
Tokyo Institute of Technology menyempurnakan Llama-3-Swallow 70B dengan menggunakan
Data berbahasa Jepang.
“LLM bukanlah alat mekanis yang memberikan manfaat yang sama untuk semua orang. LLM lebih merupakan alat intelektual yang berinteraksi dengan budaya dan kreativitas manusia. Pengaruhnya bersifat timbal balik di mana model tidak hanya dipengaruhi oleh data yang kita latih, tetapi juga budaya kita dan data yang kita hasilkan akan dipengaruhi oleh LLM,” kata Rio Yokota, profesor di Global Scientific Information and Computing Center di
Tokyo Institute of Technology. “Oleh karena itu, sangat penting untuk mengembangkan model AI yang berdaulat yang mematuhi norma-norma budaya kita. Ketersediaan Llama-3-Swallow sebagai layanan mikro NVIDIA NIM akan memungkinkan para pengembang untuk dengan mudah mengakses dan menggunakan model ini untuk aplikasi Jepang di berbagai industri.”
Sebagai contoh, sebuah perusahaan AI Jepang, Preferred Networks, menggunakan model ini untuk mengembangkan model khusus perawatan kesehatan yang dilatih dengan korpus data medis Jepang yang unik, yang disebut Llama3-Preferred-MedSwallow-70B, yang memiliki nilai tertinggi dalam Ujian Nasional Dokter Jepang.
