Confluent Umumkan Pembaruan Tableflow, Dukung Apache Iceberg dan Delta Lake

Confluent, Inc (NASDAQ:CFLT), pionir streaming data, hari ini mengumumkan kemajuan signifikan dalam Tableflow, cara termudah untuk mengakses data operasional dari data lake dan warehouses.

Dengan Tableflow, semua data streaming di Confluent Cloud dapat diakses dalam format tabel terbuka yang populer, membuka kemungkinan tak terbatas untuk analitik tingkat lanjut, kecerdasan buatan (AI) real-time dan aplikasi generasi berikutnya.

Dukungan untuk Apache Iceberg sekarang tersedia secara umum. Sebagai hasil dari kemitraan yang diperluas dengan Databricks, program akses awal baru untuk Delta Lake kini telah dibuka.

Selain itu, Tableflow kini menawarkan fleksibilitas penyimpanan data yang lebih baik dan integrasi tanpa batas dengan penyedia katalog terkemuka, termasuk AWS Glue Data Catalog dan layanan terkelola Snowflake untuk Apache Polaris, Snowflake Open Catalog.

“Di Confluent, kami selalu berusaha membuat data Anda bekerja untuk Anda, kapan pun Anda membutuhkannya dan dalam format apa pun yang dibutuhkan,” kata Shaun Clowes, Chief Product Officer di Confluent.

“Dengan Tableflow, kami membawa keahlian kami dalam menghubungkan data operasional ke dunia analitik. Kini, para ilmuwan data dan insinyur data memiliki akses ke satu sumber data real-time di seluruh perusahaan, sehingga memungkinkan untuk membangun dan menskalakan aplikasi berbasis AI generasi berikutnya,” lanjutnya.

Runtuhnya Proyek AI: Data yang Terputus

“Pada tahun 2027, setelah mengalami beberapa kegagalan proyek AI, 70% tim TI akan kembali ke awal dan fokus pada platform infrastruktur data yang siap untuk AI,” klaim IDC dalam IDC FutureScape: Prediksi Infrastruktur Digital Seluruh Dunia 2025.

Laporan tersebut menambahkan, “Banyak organisasi TI yang mengandalkan sejumlah silo data dan selusin atau lebih salinan data yang berbeda. Silo-silo dan penyimpanan data yang berlebihan ini dapat menjadi penghalang utama bagi pengembangan model AI yang efektif.”

Proyek AI yang gagal terjadi karena metode pengembangan yang lama tidak dapat mengimbangi ekspektasi konsumen yang baru. Aplikasi ini diharapkan dapat mengetahui status bisnis dan pelanggannya saat ini dan mengambil tindakan secara otomatis.

Sebagai contoh, aplikasi AI untuk manajemen inventaris harus dapat mengidentifikasi apakah barang tertentu sedang tren, segera memberi tahu produsen tentang peningkatan permintaan, dan memberikan estimasi pengiriman yang akurat untuk pelanggan. Tingkat efisiensi hands-free ini tidak mungkin dilakukan jika data bisnis tidak masuk ke sistem analitik dan AI secara real-time. Cara lama pemrosesan batch menghasilkan hasil yang tidak akurat, dan menyalin data secara manual tidak stabil, tidak dapat diskalakan dan memperbanyak masalah silo.

Baca Juga: Kolaborasi dengan Databricks, Confluent Bangun Era Baru Real-Time AI

Menjembatani Kesenjangan Data untuk AI dalam Perusahaan 

“Perusahaan transportasi menyukai kami karena kami membuat penjualan, operasi, dan pengiriman menjadi sangat sederhana, tetapi hal ini hanya bisa dilakukan dengan analitik data real-time,” ujar Brady Perry, salah satu pendiri Busie.

“Tableflow menawarkan jalur yang menjanjikan bagi mesin analitik kami untuk mengkonsumsi data operasional di Kafka secara real-time dalam bentuk tabel Apache Iceberg, sehingga tidak perlu lagi melakukan prapemrosesan. Dengan mengintegrasikan Tableflow dengan Snowflake, kami dapat mencegah data mentah yang tidak bersih agar tidak tertelan sekaligus mengurangi kompleksitas dan biaya penyimpanan. Pendekatan ini akan menyederhanakan alur kerja dan mempercepat waktu untuk mendapatkan wawasan sekaligus memastikan arsitektur data yang lebih efisien dan hemat biaya.”

Tableflow menyederhanakan integrasi antara data operasional dan sistem analitik. Tableflow terus memperbarui tabel yang digunakan untuk analitik dan AI dengan data yang sama persis dari aplikasi bisnis yang terhubung ke Confluent Cloud. Di dalam Confluent, pemrosesan dan tata kelola terjadi saat data dihasilkan, mengalihkan tugas-tugas ini ke hulu untuk memastikan bahwa hanya data berkualitas tinggi dan konsisten yang digunakan untuk masuk kedalam data lakes dan gudang data. Ini merupakan terobosan bagi AI, karena AI hanya dapat bekerja sesuai data yang diterimanya.

Baca Juga: Confluent Gelar Current 2025 di Bengaluru, Tampilkan Inovasi Data Streaming dan AI Generatif

Hari ini, Confluent mengumumkan pembaruan yang signifikan untuk Tableflow: 

• Dukungan untuk Apache Iceberg telah siap untuk beban kerja produksi. Tim kini dapat langsung merepresentasikan topik Apache Kafka® sebagai tabel Iceberg untuk memberi masukkan kedalam data warehouse, data lake, atau mesin analitik apa pun untuk kasus penggunaan pemrosesan real -time atau batch. Tugas pemeliharaan tabel yang mahal dan rawan kesalahan, seperti pemadatan, secara otomatis ditangani oleh Tableflow, sehingga memberikan waktu kepada insinyur data untuk memberikan lebih banyak nilai bisnis. Tableflow juga menyediakan sumber kebenaran tunggal untuk salah satu opsi penyimpanan format terbuka yang paling banyak diadopsi, sehingga memungkinkan para ilmuwan data dan data engineer untuk meningkatkan inovasi AI dan aplikasi generasi berikutnya.
• Program Akses Awal yang baru untuk Delta Lake kini telah dibuka. Lapisan penyimpanan format terbuka ini, yang dipelopori oleh Databricks, memproses lebih dari 10 exabyte data setiap hari dan digunakan bersama banyak mesin dan alat AI populer. Dengan integrasi ini, pelanggan akan memiliki pandangan yang konsisten terhadap data real-time di seluruh aplikasi operasional dan analitik, sehingga memungkinkan pengambilan keputusan berbasis AI yang lebih cepat dan cerdas. Ajukan pendaftaran untuk Program Akses Awal Tableflow di sini.
• Tingkatkan fleksibilitas melalui Bring Your Own Storage. Simpan tabel Iceberg atau Delta yang baru dan terkini sekali dan gunakan kembali berkali-kali dengan kebebasan untuk memilih storage bucket. Pelanggan kini memiliki kendali penuh atas penyimpanan dan kepatuhan untuk memenuhi kebutuhan kepemilikan data mereka yang unik.
• Meningkatkan aksesibilitas dan tata kelola data dengan para mitra. Integrasi langsung dengan Amazon SageMaker Lakehouse melalui AWS Glue Data Catalog (GA) dan Snowflake Open Catalog (GA) memungkinkan manajemen katalog tanpa batas untuk tabel Iceberg Tableflow. Mereka juga menyederhanakan akses untuk mesin analitik seperti Amazon Athena, AWS EMR, dan Amazon RedShift, dan solusi data lake dan warehouse terkemuka termasuk Snowflake, Dremio, Imply, Onehouse, dan Starburst. Selain itu, Confluent telah memperkuat adopsi perusahaan untuk Tableflow dengan dukungan dari integrator sistem global dan regional, termasuk GoodLabs Studio, Onibex, Psyncopate, dan Tata Consultancy Services (TCS).