Red Hat Akan Menghadirkan Peningkatan Inferensi AI di AWS

Red Hat, penyedia solusi open source terkemuka di dunia, baru-baru ini mengumumkan kolaborasinya yang makin luas dengan Amazon Web Services (AWS) untuk memperkuat AI generatif (gen AI) kelas enterprise di AWS melalui Red Hat AI dan silikon AI dari AWS. Melalui kolaborasi ini, Red Hat berfokus pada pemberdayaan pengambil keputusan IT dengan fleksibilitas untuk menjalankan inferensi AI berkinerja tinggi dan efisien pada skala besar, terlepas dari hardware yang digunakan.

Meningkatnya penggunaan gen AI dan kebutuhan akan inferensi yang dapat diskalakan mendorong organisasi untuk mengevaluasi kembali infrastruktur IT mereka. Akibatnya, IDC memprediksi bahwa “pada tahun 2027, 40% organisasi akan menggunakan custom silicon, termasuk prosesor ARM atau chip khusus AI/ML, untuk memenuhi peningkatan permintaan terhadap optimalisasi kinerja, efisiensi biaya, dan komputasi khusus.” Hal ini menegaskan adanya kebutuhan akan solusi yang dioptimalkan untuk meningkatkan daya komputasi, meminimalkan biaya, dan memungkinkan siklus inovasi yang lebih cepat bagi aplikasi AI berkinerja tinggi.

Kerja sama Red Hat dengan AWS memberdayakan organisasi dengan strategi gen AI full-stack dengan menyatukan kapabilitas platform komprehensif Red Hat dengan infrastruktur cloud dan chipset AI dari AWS, yaitu AWS Inferentia2 dan AWS Trainium3. Aspek-aspek utama dari kolaborasi ini meliputi: 

Red Hat AI Inference Server pada chip AI AWS: Red Hat AI Inference Server, yang didukung oleh vLLM, akan diaktifkan dengan chip AI AWS, termasuk AWS Inferentia2 dan AWS Trainium3, guna menghadirkan lapisan inferensi umum yang dapat mendukung model gen AI apa pun. Hal ini membantu pelanggan mencapai kinerja lebih tinggi, latensi lebih rendah, dan efisiensi biaya untuk skalabilitas penerapan AI di tahap produksi, dengan peningkatan harga dan kinerja hingga 30–40% lebih baik dibandingkan instance Amazon EC2 berbasis GPU yang sebanding saat ini.

Mengaktifkan AI pada Red Hat OpenShift: Red Hat bekerja sama dengan AWS untuk mengembangkan operator AWS Neuron untuk Red Hat OpenShift, Red Hat OpenShift AI, dan Red Hat OpenShift Service on AWS, sebuah platform aplikasi yang komprehensif dan sepenuhnya dikelola di AWS, sehingga menyediakan jalur yang lebih mulus kepada pelanggan dan mendukung pelanggan dalam menjalankan beban kerja AI mereka menggunakan akselerator AWS.

Kemudahan akses dan implementasi: Dengan mendukung chip AI AWS, Red Hat akan menawarkan akses yang lebih mudah dan lebih optimal ke akselerator berkapasitas tinggi dan sangat diminati saat ini untuk pelanggan Red Hat di AWS. Selain itu, Red Hat baru-baru ini merilis amazon.ai Certified Ansible Collection untuk Red Hat Ansible Automation Platform untuk memfasilitasi orkestrasi layanan AI di AWS. 

Kontribusi komunitas hulu (upstream): Red Hat dan AWS bekerja sama untuk mengoptimalkan plugin chip AI AWS yang yang di-upstream-kan ke vLLM. Sebagai kontributor komersial teratas untuk vLLM, Red Hat berkomitmen untuk memfasilitiasi penggunaan vLLM di AWS untuk membantu mempercepat kapabilitas inferensi dan training AI bagi pengguna. vLLM juga merupakan fondasi dari llm-d, proyek open source yang berfokus pada penyediaan inferensi berskala besar dan kini tersedia sebagai fitur yang didukung secara komersial di Red Hat OpenShift AI 3.

“Dengan mengaktifkan Red Hat AI Inference Server kelas enterprise kami, yang dibangun di atas kerangka kerja vLLM yang inovatif, menggunakan chip AI AWS, kami memberdayakan organisasi untuk mengimplementasikan dan meningkatkan beban kerja AI dengan efisiensi dan fleksibilitas yang makin meningkat. Dengan memanfaatkan warisan open source Red Hat, kolaborasi ini bertujuan untuk menjadikan AI generatif lebih mudah diakses dan lebih hemat biaya di seluruh lingkungan hybrid cloud," ujar Joe Fernandes, vice president and general manager, AI Business Unit, Red Hat