Apache Flink di Confluent Cloud Permudah Pembuatan Aplikasi Real-Time

Confluent, Inc, pelopor data streaming, hari ini memperkenalkan Apache Flink di Confluent Cloud, sebuah layanan terkelola penuh untuk pemrosesan streaming yang memudahkan perusahaan untuk memfilter, bergabung, dan memperkaya aliran data dengan Flink. Dengan aliran data yang diproses dengan cepat, organisasi dapat bereaksi dan berinovasi lebih cepat dengan wawasan yang akurat dan tepat waktu. Selain itu, Confluent juga mengumumkan Portal Data untuk membantu perusahaan menemukan semua aliran data real-time dalam organisasi mereka, Enterprise Cluster untuk memangkas biaya Apache Kafka pada severless jaringan privat dan mengurangi biaya penyimpanan untuk Confluent Cloud.

Menurut laporan Data streaming 2023, data streaming merupakan kebutuhan bisnis yang sangat penting, sebesar 72% pemimpin TI menggunakannya untuk mendukung sistem perusahaan yang kritikal. Namun, data streaming hanyalah sebagian dari tantangan perusahaan. Untuk mendapatkan nilai penuh dari aliran data, organisasi perlu menggabungkan, memperkaya dan membentuk kembali aliran tersebut dengan data lain dari seluruh organisasi mereka. Dalam platform data streaming, pemrosesan aliran bertindak sebagai lapisan komputasi yang mengubah data menjadi wawasan dan nilai yang berharga.

Sebagai salah satu proyek utama Apache Software Foundation, Flink telah muncul sebagai standar de facto untuk pemrosesan streaming. Performa tinggi, set fitur yang kaya dan komunitas pengembang yang kuat menjadikan Flink sebagai salah satu pilihan paling populer untuk pemrosesan streaming berskala besar, kecepatan yang tinggi dan latensi rendah. Karena Kafka telah menjadi teknologi standar untuk data streaming, Flink sering digunakan bersama-sama dengan Kafka untuk mendukung beban kerja yang sangat penting bagi perusahaan.

"Perusahaan-perusahaan di seluruh dunia memanfaatkan data streaming dengan Apache Kafka untuk mendukung pengalaman real-time," ujar Shaun Clowes, Chief Product Officer di Confluent, dalam keterangan media, Selasa (3/10/2023).

Dikatakan, meskipun data streaming menghubungkan data di seluruh organisasi, alat pemrosesan streaming seperti Apache Flink memungkinkan untuk menindaklanjuti data tersebut secara real-time dan mempercepat pengembangan kasus penggunaan baru. Penawaran Kafka dan Flink yang kami kelola saling melengkapi untuk menjalankan data streaming. Keduanya bekerja lebih baik dalam sebuah platform terpadu untuk menghubungkan dan memperkaya data sehingga perusahaan dapat menemukan lebih banyak wawasan dan memberikan pengalaman yang berdampak, sehingga dapat mengubah keadaan. 

Flink memungkinkan perusahaan seperti layanan transportasi untuk mencocokkan pengemudi dan pengendaranya, bagi bank untuk memperingatkan pengguna tentang aktivitas penipuan dan bagi perusahaan media sosial untuk menawarkan rekomendasi konten yang dipersonalisasi secara real-time.

"Pemrosesan aliran data sangat penting untuk mengidentifikasi dan melindungi dari risiko keamanan secara real time," ujar Vinay Krishna Patnana, Engineering Manager di Cisco Meraki. 

Dengan penawaran Flink yang dikelola sepenuhnya oleh Confluent, kami bisa mengakses, menggabungkan dan memperkaya data dari sensor IoT, kamera pintar, dan analitik Wi-Fi untuk segera mengambil tindakan terhadap potensi ancaman secara real time, seperti deteksi penyusupan. Hal ini memungkinkan kami untuk memproses data sensor segera setelah kejadian terjadi, sehingga memungkinkan deteksi dan respons yang lebih cepat terhadap insiden keamanan tanpa menambah beban operasional. 

Namun, seperti Kafka dan teknologi open source lainnya, Flink yang dikelola sendiri secara operasional menjadi rumit, memiliki kurva pembelajaran yang curam dan dilengkapi dengan biaya infrastruktur dan manajemen yang mahal.

Apache Flink di Confluent Cloud memungkinkan perusahaan untuk membuat aliran data berkualitas tinggi dan dapat digunakan kembali serta dapat dikirim ke mana saja secara real time. Dengan layanan Flink yang dikelola sepenuhnya dan dapat diskalakan secara elastis dari Confluent, perusahaan dapat mengurangi kompleksitas arsitektur dan beban operasional pada pemrosesan streaming untuk memperkaya data streaming dan mendukung penggunaan yang inovatif.

"Pemrosesan streaming melibatkan integrasi real-time dan transformasi aliran data dari peristiwa, yang menggerakkan sistem di seluruh industri mulai dari deteksi penipuan di bidang keuangan hingga rekomendasi yang dipersonalisasi di e-commerce," kata Matt Aslett, Vice President and Research Director di Ventana Research. 

Ketika digunakan secara bersamaan, Apache Flink dan Apache Kafka dapat memungkinkan penggunaan kembali data dan menghindari pemrosesan hilir yang berlebihan. Penyediaan Flink dan Kafka sebagai layanan yang terkelola secara penuh memberikan pemrosesan streaming tanpa kerumitan pada pengelolaan infrastruktur, sehingga memungkinkan organisasi untuk fokus membangun aplikasi streaming real-time dan pipeline yang membedakan bisnis mereka.

Saat ini perusahaan yang menggunakan Apache Flink di Confluent Cloud dapat melakukan beberapa hal seperti; Memfilter, menggabungkan dan memperkaya aliran data dengan mudah dengan Flink: standar untuk pemrosesan aliran data. Memungkinkan pemrosesan aliran data berkinerja tinggi dan efisien dalam skala apa pun, tanpa kerumitan manajemen infrastruktur. Dan merasakan pengalaman Kafka dan Flink sebagai platform terpadu, dengan pemantauan, keamanan, dan tata kelola yang terintegrasi penuh.

Apache Flink mulai tersedia untuk pelanggan Confluent Cloud yang menggunakan AWS di wilayah tertentu untuk tujuan pengujian dan eksperimen. Ketersediaan umum akan segera hadir. Portal Data meningkatkan produktivitas pengembang melalui antarmuka yang sederhana untuk menemukan, mengakses, dan memanfaatkan aliran data real-time

Dengan open source Kafka dan solusi Kafka terkelola lainnya, pengembang sering mengalami masalah dalam menemukan dan mengakses aliran data yang relevan yang mereka butuhkan untuk membangun aplikasi dan pipeline secara real-time. Proses yang terfragmentasi ini dapat memakan waktu lama dari siklus pengembangan yang berharga, membatasi produktivitas dan memperlambat inovasi.

Untuk mengatasi tantangan ini, Data Portal, yang merupakan perluasan dari rangkaian Stream Governance, memanfaatkan kemampuan Stream Catalog Confluent untuk menyederhanakan pengalaman pengembang. Dengan antarmuka yang fleksibel dan self-service, Data Portal memberikan cara yang aman bagi perusahaan untuk menemukan dan mengakses semua aliran data yang mengalir di seluruh organisasi mereka, sehingga mempercepat pengembangan aplikasi dan produk secara real-time.

Selain itu, data portal juga memungkinkan perusahaan untuk melakukan beberapa hal seperti; Mencari, menemukan dan menjelajahi topik, tag dan metadata yang ada di seluruh organisasi dengan visibilitas end-to-end untuk memilih data yang paling relevan untuk proyek mereka. Meminta akses ke aliran data dengan lancar dan aman serta memicu alur kerja persetujuan yang menghubungkan pengguna dengan pemilik data, semuanya dalam Confluent Cloud UI. Membangun dan mengelola produk data dengan mudah untuk mendukung streaming pipeline dan aplikasi dengan memahami, mengakses dan memperkaya aliran data yang ada.

Pelanggan Confluent Cloud akan segera dapat menikmati fitur-fitur Data Portal untuk menemukan aliran data dengan mudah, seperti Kora, mesin Apache Kafka cloud-native Confluent, memungkinkan Confluent mengelola puluhan ribu cluster Confluent Cloud secara efisien, sehingga menghasilkan penghematan biaya bagi para pelanggan. Enterprise Cluster memaksimalkan efisiensi pada jaringan privat sekaligus meminimalkan tantangan operasional

Confluent memperluas kemampuan tanpa server kepada mereka yang membutuhkan jaringan privat dengan cluster Enterprise di Confluent Cloud. Dibangun di atas Kora Engine dan dikembangkan untuk perusahaan dengan persyaratan keamanan dan jaringan yang ketat, perusahaan yang menggunakan cluster Enterprise dapat membangun komunikasi yang aman dan langsung antara VPC dan Confluent Cloud tanpa mengekspos data mereka ke internet.

Dengan Enterprise Cluster di Confluent Cloud, perusahaan dapat melakukan beberapa hal seperti;  Menghubungkan lingkungan privat dengan mudah dan aman ke Confluent Cloud dengan pengaturan yang disederhanakan, dapat digunakan kembali, dan isolasi jaringan yang aman. Mengoptimalkan efisiensi sumber daya dan biaya dengan cluster penskalaan otomatis untuk memenuhi permintaan apa pun. Menghilangkan ukuran manual, penyediaan dan manajemen berkelanjutan dengan operasi otomatis dan tiering data cerdas yang didukung oleh Kora Engine kami.

Cluster perusahaan kini tersedia di AWS PrivateLink untuk mengakses sumber daya secara aman di Confluent Cloud dan menyederhanakan administrasi jaringan. Penurunan harga pada Confluent Cloud memungkinkan lebih banyak penyimpanan data dengan biaya yang terjangkau.

Confluent Cloud kini menawarkan penyimpanan dalam skala besar dengan harga 20% lebih murah, efektif mulai 1 Oktober 2023. Perusahaan masih dapat menyimpan semua peristiwa real-time dan historis tanpa batas, sehingga membantu mendukung lebih banyak penggunaan streaming, termasuk sumber peristiwa, kecerdasan buatan dan pemrosesan streaming, dengan harga yang lebih terjangkau. Coba Confluent Cloud secara gratis dalam hitungan menit.

Inovasi-inovasi ini dimungkinkan oleh Kora Engine dan menegaskan manfaat platform cloud-native Confluent. Seiring berjalannya waktu, cluster perusahaan baru dan harga penyimpanan yang lebih rendah diharapkan dapat mendorong TCO yang lebih rendah dan ROI yang lebih baik, sekaligus meningkatkan efisiensi di mana Confluent dapat memberikan platform data streaming lengkapnya kepada pelanggan baru dan yang sudah ada.