OverclockingID – Negara-negara di seluruh dunia tengah mengejar konsep Sovereign AI. Ini bertujuan agar kecerdasan buatan yang dikembangkan sesuai dengan nilai, hukum, dan kepentingan lokal. Untuk mendukungnya, NVIDIA baru saja mengumumkan ketersediaan empat microservice NVIDIA NIM yang baru.
Microservice ini dirancang untuk membantu developer membangun dan menerapkan aplikasi AI generatif berperforma tinggi dengan lebih mudah. Microservice tersebut mendukung model komunitas populer yang disesuaikan dengan kebutuhan regional. Hasilnya, interaksi pengguna akan ditingkatkan melalui pemahaman yang akurat dan respons yang lebih baik berdasarkan bahasa dan warisan budaya setempat.
Sebagai gambaran, pendapatan perangkat lunak AI generatif di kawasan Asia Pasifik saja diperkirakan mencapai $48 miliar pada tahun 2030, naik dari $5 miliar tahun ini, menurut ABI Research.
Microservice NIM Baru Menampilkan Model Bahasa Lokal
- Llama-3-Swallow-70B dan Llama-3-Taiwan-70B adalah model bahasa regional yang dilatih dengan data Jepang dan Mandarin. Dengan demikian, model ini memiliki pemahaman lebih mendalam tentang hukum, peraturan, dan kebiasaan setempat.
- Keluarga model RakutenAI 7B yang dibangun di atas Mistral-7B, dilatih pada kumpulan data bahasa Inggris dan Jepang. Tersedia dalam dua microservice NIM yang berbeda untuk Chat dan Instruct. Model ini telah mencapai skor terdepan di antara model bahasa Jepang berskala besar yang terbuka.
Pelatihan model bahasa besar (LBM) pada bahasa daerah meningkatkan efektivitas keluarannya dengan memastikan komunikasi yang lebih akurat dan bernuansa. Hal ini karena model tersebut lebih memahami dan mencerminkan budaya serta seluk-beluk linguistik.
Microservice NIM Memfasilitasi Pengembangan Aplikasi Lokal
Microservice NIM yang baru memungkinkan bisnis, lembaga pemerintah, dan universitas untuk menjalankan LBM asli di lingkungan mereka sendiri. Ini memungkinkan developer membangun copilot canggih, chatbot, dan asisten AI.
Microservice tersedia dengan NVIDIA AI Enterprise dan dioptimalkan untuk inferensi dengan pustaka open-source NVIDIA TensorRT-LLM. Keunggulan ini dapat memberikan throughput hingga 5x lebih tinggi, sehingga menurunkan biaya keseluruhan dan memberikan pengalaman pengguna yang lebih baik.
“LLM bukanlah alat mekanis yang memberikan manfaat yang sama untuk semua orang. LLM lebih merupakan alat intelektual yang berinteraksi dengan budaya dan kreativitas manusia. Pengaruhnya bersifat timbal balik di mana model tidak hanya dipengaruhi oleh data yang kita latih, tetapi juga budaya kita dan data yang kita hasilkan akan dipengaruhi oleh LLM,” kata Rio Yokota, Profesor di Global Scientific Information and Computing Center di
Tokyo Institute of Technology. “Oleh karena itu, sangat penting untuk mengembangkan model AI yang berdaulat yang mematuhi norma-norma budaya kita. Ketersediaan Llama-3-Swallow sebagai layanan mikro NVIDIA NIM akan memungkinkan para pengembang untuk dengan mudah mengakses dan menggunakan model ini untuk aplikasi-aplikasi Jepang di berbagai industri.”
Studi Kasus: Dampak Microservice NIM di Asia
- Institut Teknologi Tokyo menggunakan Llama-3-Swallow 70B untuk mengembangkan model khusus kesehatan yang dilatih pada kumpulan data medis Jepang yang unik.
- Rumah Sakit Chang Gung Memorial (CGMH) di Taiwan menggunakan Llama-3-Taiwan 70B untuk meningkatkan efisiensi staf medis garis depan dengan bahasa medis yang lebih bernuansa.
- Pegatron, produsen perangkat elektronik asal Taiwan, menggunakan microservice Llama-3-Taiwan 70B NIM untuk aplikasi internal dan eksternal.
Membangun Model Perusahaan Khusus dengan NVIDIA AI Foundry
Meskipun model AI regional dapat memberikan respons yang bernuansa budaya dan terlokalisasi, perusahaan masih perlu menyempurnakannya untuk proses bisnis dan keahlian domain mereka.
NVIDIA AI Foundry adalah platform dan layanan yang menyediakan model dasar populer, NVIDIA NeMo untuk fine-tuning, dan kapasitas khusus di NVIDIA DGX Cloud. Hal ini bertujuan untuk memberikan developer solusi lengkap dalam membangun model dasar kustom yang dikemas sebagai microservice NIM.
Dengan demikian, developer dapat lebih cepat dan mudah membangun serta menerapkan microservice NIM bahasa daerah kustom mereka sendiri untuk mendukung aplikasi AI, memastikan hasil yang sesuai secara budaya dan linguistik untuk penggunanya.
