Kredit Foto: Sufri Yuliardi
Insinyur data bekerja dengan berbagai alat dan teknologi berikut ini:
ETL Tools
Alat ETL (extract, transform, load) memindahkan data antar sistem. Mereka mengakses data, kemudian menerapkan aturan untuk "mengubah" data melalui langkah-langkah yang membuatnya lebih cocok untuk analisis.
SQL
Structured Query Language (SQL) adalah bahasa standar untuk query database relasional.
Python
Python adalah bahasa pemrograman umum. Insinyur data dapat memilih untuk menggunakan Python untuk tugas ETL.
Penyimpanan Data Cloud
Termasuk Amazon S3, Azure Data Lake Storage (ADLS), Google Cloud Storage, dll.
Query Engines
Mesin menjalankan kueri terhadap data untuk mengembalikan jawaban. Insinyur data dapat bekerja dengan mesin seperti Dremio Sonar, Spark, Flink, dan lainnya.
Data engineering dan data science adalah dua keterampilan yang saling melengkapi. Data engineer membantu membuat data dapat diandalkan dan konsisten untuk analisis. Sementara data scientist memerlukan data yang andal untuk pembelajaran mesin, eksplorasi data, dan proyek analitik lainnya yang melibatkan kumpulan data besar. Data scientists mungkin mengandalkan data engineer untuk menemukan dan menyiapkan data untuk analisis mereka.
Mau Berita Terbaru Lainnya dari Warta Ekonomi? Yuk Follow Kami di Google News dengan Klik Simbol Bintang.
Penulis: Fajria Anindya Utami
Editor: Fajria Anindya Utami
Tag Terkait:
