Trendtech, Jakarta – Dunia Artificial Intelligence (AI) kini memasuki babak baru. Bukan lagi sekadar uji coba dan eksperimen, tetapi bagaimana membawa model-model cerdas itu ke dalam jantung operasional bisnis, level produksi. Di sinilah, sebagai penyedia solusi open source terkemuka dunia, Red Hat meluncurkan evolusi signifikan dari platform enterprise AI-nya: Red Hat AI 3.

Platform hybrid cloud-native ini hadir untuk menyederhanakan alur kerja AI yang kerap rumit. Dengan menghadirkan kemampuan inferensi baru yang tangguh, Red Hat AI 3 membangun fondasi kokoh untuk Agentic AI dalam skala besar. Pada akhirnya, platform ini memberdayakan tim IT dan engineer AI untuk berinovasi lebih cepat dan efisien, mengubah investasi teknologi menjadi nilai bisnis yang nyata.

Joe Fernandes, Vice President dan General Manager, AI Business Unit, Red Hat “Dengan Red Hat AI 3, kami menyediakan platform open source kelas enterprise yang meminimalkan hambatan kompleksitas, biaya, dan kontrol. Kemampuan baru seperti inferensi terdistribusi dengan llm-d memampukan tim IT mengoperasionalkan AI generasi berikutnya dengan lebih percaya diri, di infrastruktur apa pun.”

Baca juga: Smartcom Resmi Beroperasi di Indonesia, Hadirkan Komunikasi Mission-Critical yang Lebih Cerdas

Bayangkan ini: perusahaan-perusahaan di seluruh dunia telah mengucurkan miliaran dolar untuk AI. Namun, laporan “The GenAI Divide: State of AI in Business” dari MIT NANDA Project mengungkap fakta mengejutkan: sekitar 95% organisasi gagal meraih keuntungan finansial yang terukur.

Apa yang menghalangi? Tantangan klasik seperti privasi data, peledakan biaya, dan kerumitan mengelola banyak model yang berbeda, menjadi tembok besar saat AI hendak dijalankan dalam skala penuh. Red Hat AI 3 hadir untuk meruntuhkan tembok tersebut. Platform ini menawarkan pengalaman yang lebih konsisten dan terpadu bagi para pemimpin IT untuk memaksimalkan investasi teknologi mereka, memungkinkan organisasi mendistribusikan beban kerja AI di lingkungan hybrid dan multi-vendor dengan percaya diri.

Jika fase pelatihan model adalah masa sekolah, maka inferensi adalah dunia kerja sesungguhnya bagi AI. Di sinilah model yang sudah dilatih digunakan untuk mengambil keputusan dan menghasilkan nilai. Red Hat AI 3 fokus pada inferensi yang skalabel dan hemat biaya, dengan mengembangkan proyek komunitas sukses seperti vLLM dan llm-d.

Fitur andalannya, llm-d yang kini tersedia secara umum, adalah game-changer. Teknologi ini mengubah cara Large Language Model (LLM) bekerja di Kubernetes, memungkinkan inferensi terdistribusi yang cerdas. Bayangkan kemampuan untuk:

• Mengurangi biaya dan meningkatkan respons melalui penjadwalan model yang pintar.

• Menyederhanakan operasional dengan langkah-langkah jelas untuk menjalankan model dalam skala besar.

• Memaksimalkan fleksibilitas dengan dukungan berbagai akselerator hardware, termasuk NVIDIA dan AMD.

Dibangun di atas vLLM, llm-d berevolusi dari mesin single-node menjadi sistem terdistribusi yang terintegrasi kuat dengan Kubernetes. Ini adalah jawaban langsung untuk tantangan menangani beban kerja LLM yang fluktuatif dan model raksasa seperti Mixture-of-Experts (MoE).

Membangun AI yang siap produksi bukanlah tugas satu tim saja. Diperuhkan kolaborasi erat antara platform engineer dan AI engineer. Red Hat AI 3 dirancang sebagai playground kolaboratif yang mempersatukan kedua dunia ini.

Apa saja yang bisa ditemukan di platform ini?

• Model as a Service (MaaS): Tim IT kini bisa menjadi penyedia MaaS internal mereka sendiri. Mereka dapat menyajikan model secara terpusat dan memberikan akses on-demand, memungkinkan pengelolaan biaya yang lebih baik dan mendukung use case yang memerlukan privasi data ketat.

• AI Hub: Seperti pusat perbelanjaan untuk aset AI, AI Hub memudahkan platform engineer mengeksplorasi, menjalankan, dan mengelola model-model yang telah terkurasi dan dioptimalkan.

• Gen AI Studio: Ini adalah arena bermain bagi AI engineer. Di sini, mereka dapat berinteraksi dengan model, membuat prototipe aplikasi generatif AI dengan cepat, dan bereksperimen dengan prompt di playground yang interaktif.

• Model-model Siap Pakai: Red Hat menyertakan model-model open source populer seperti gpt-oss dari OpenAI dan DeepSeek-R1, serta model khusus untuk speech-to-text dan agen suara, yang semuanya telah divalidasi dan dioptimalkan sehingga tim bisa langsung fokus pada pengembangan.

Agen AI—entitas otonom yang dapat merencanakan dan menjalankan tugas kompleks—adalah frontier berikutnya. Namun, agen-agen ini membutuhkan kemampuan inferensi yang sangat besar. Red Hat OpenShift AI 3.0 hadir dengan fondasi yang tepat untuk mewujudkannya.

Baca juga: Personal Data Engine & Knox Enhanced Encrypted Protection: Perlindungan Data di Era AI yang Semakin Cerdas

Red Hat memperkenalkan Unified API layer berbasis Llama Stack, yang menyelaraskan pengembangan dengan standar industri. Mereka juga mengadopsi Model Context Protocol (MCP), standar baru yang menyederhanakan interaksi model AI dengan alat eksternal—fitur krusial untuk agen modern.

Tak ketinggalan, toolkit kustomisasi model yang modular, dibangun di atas InstructLab, memberi pengembang fleksibilitas dan kontrol lebih besar. Toolkit ini didukung oleh proyek open source seperti Docling, yang menyederhanakan pemrosesan dokumen tidak terstruktur, serta pusat pelatihan dan evaluasi terintegrasi untuk memvalidasi hasil.

Dengan Red Hat AI 3, perjalanan AI organisasi tidak lagi berhenti di ruang eksperimen. Platform ini adalah jembatan yang kokoh menuju era di mana AI benar-benar bekerja, berkolaborasi, dan menghadirkan nilai dalam skala produksi yang sesungguhnya.