Data Streaming untuk Mempercepat Pengembangan Aplikasi AI Real-Time

Confluent Inc, pionir dalam data streaming mengumumkan Data Streaming untuk AI, sebuah inisiatif untuk mempercepat pengembangan aplikasi AI secara real-time untuk organisasi.

Mencapai AI secara real time menuntut lebih dari sekadar algoritme yang cepat; AI membutuhkan data yang dapat dipercaya dan relevan yang disajikan pada saat itu juga untuk mendapatkan wawasan yang lebih cerdas dan lebih cepat.

Untuk membantu perusahaan membuka potensi penuh AI dengan data kontekstual terbaru dari seluruh bisnis mereka, Confluent memperluas kemitraan dengan perusahaan-perusahaan terkemuka di bidang AI dan vector database, termasuk MongoDB, Pinecone, Rockset, Weaviate dan Zilliz.

Perusahaan-perusahaan ini juga mendemonstrasikan inovasi produk yang menggabungkan kemajuan terbaru dalam AI ke dalam platformnya, dengan kemampuan seperti asisten AI generatif yang dapat membantu menghasilkan kode dan menjawab pertanyaan seputar kegunaan dari data streaming.

Jay Kreps, CEO and Co-Founder, Confluent dalam keterangan media, Rabu (27/9/2023) mengatakan, data streaming adalah teknologi dasar untuk masa depan AI.

Menurutnya aliran data yang diperkaya dan dapat dipercaya adalah kunci untuk membangun aplikasi AI generasi mendatang yang akurat dan memiliki kaya akan konteks real-time dan dibutuhkan oleh pengguna modern.

"Kami ingin mempermudah setiap perusahaan untuk membangun aplikasi AI yang kuat dan memanfaatkan ekosistem mitra kami yang luas serta keahlian kami dalam hal data streaming,” ujar Jay Kreps.

Meskipun kecanggihan AI sudah terdengar selama beberapa tahun ini, saat ini mulai digemari lagi berkat terobosan di seluruh reusable large language models (LLM), model pembelajaran mesin yang lebih mudah diakses dan kemampuan GPU yang lebih kuat.

Hal ini telah mendorong berbagai organisasi untuk mempercepat investasi AI mereka. Namun, tantangan mendasar dalam AI modern adalah kurangnya akses ke data real-time yang relevan yang dibutuhkan aplikasi AI secara tepat waktu, aman, dan dapat diskalakan.

Selama satu dekade terakhir, AI sangat bergantung pada data historis, diintegrasikan dengan pipeline point-to-point berbasis batch yang lambat yang membuat data menjadi basi dan tidak akurat pada saat data tiba.

Hal tersebut tidak lagi memadai untuk penggunaan AI real-time yang sedang dijalankan oleh bisnis saat ini, seperti deteksi penipuan prediktif, asisten perjalanan AI generatif, atau rekomendasi yang dipersonalisasi. Masalah yang lebih parah lagi adalah masalah tata kelola data dan skalabilitas yang buruk.

Akibatnya, laju kemajuan AI terhambat karena pengembang terus-menerus mengatasi masalah dengan hasil yang sudah ketinggalan zaman dan gambaran AI yang tidak dapat dipercaya. Ini bukan hanya rintangan teknis tetapi ini adalah penghalang bagi inovasi AI.

Stewart Bond, Data Intelligence and Integration Software, IDC menambahkan, meskipun ada pertumbuhan yang signifikan dalam jumlah perusahaan yang bereksperimen dengan AI generatif, banyak yang menghadapi hambatan dari infrastruktur data yang tidak valid dan tidak memiliki ketersediaan data real-time dan kepercayaan.

Manajemen data adalah area investasi yang paling penting karena organisasi membangun arsitektur intelijen yang memberikan wawasan dalam skala besar, mendukung pembelajaran kolektif dan menumbuhkan kegunaan data.

"Mereka yang melakukannya dengan benar telah melihat peningkatan 4x lipat lebih baik pada hasil bisnisnya dengan menghilangkan hambatan pada ketersediaan data real-time dan kepercayaan melalui data streaming, tata kelola, keamanan, dan integrasi, sehingga sepadan dengan perjalanannya,” jelas Stewart Bond.

Aplikasi AI modern membutuhkan berbagai teknologi dan data dari berbagai domain untuk disatukan dengan mulus.