A Day in the Life of a Data Engineer (Indonesian)

Gambaran Umum Lab

Rekan Anda sedang berlibur, jadi Anda bertanggung jawab atas praktik rekayasa data organisasi Anda untuk hari ini. Ambil alih pekerjaannya dan jelajahi beragam opsi terkelola untuk pemindahan data di Amazon Web Services (AWS). Pertimbangkan pola arsitektur, optimasi kinerja dan biaya, serta praktik terbaik keamanan, buat rekan Anda terkesan ketika mereka kembali bekerja!

Rekan Anda telah menyediakan lingkungan sandbox sehingga Anda dapat bereksperimen dan menguji proof of concept (POC) saat mereka sedang absen. Anda telah memutuskan untuk menjelajahi data yang Anda yakini akan membantu perusahaan kecil Anda sukses berekspansi ke kota baru. Anda akan menggunakan set data National Oceanic and Atmospheric Administration (NOAA) yang memberikan data historis cuaca harian. Anda meyakini bahwa data ini dapat membantu perusahaan untuk mengetahui waktu perusahaan harus menyediakan barang-barang musim panas, bukan barang musim dingin, di kota yang menjadi target ekspansi. Untuk POC, Anda akan berfokus pada metrik suhu dan curah hujan.

Lab ini menggunakan set data NOAA Global Surface Summary of Day (GSOD), yang diakses pada tanggal 5 Agustus 2022, dari https://registry.opendata.aws/noaa-gsod. Set data ini adalah kumpulan pengukuran cuaca harian (suhu, kecepatan angin, kelembapan, tekanan, dan sebagainya) dari 9.000 lebih stasiun cuaca di seluruh dunia. Data pada awalnya dikumpulkan oleh National Climatic Data Center. Karena batas waktu lab, set data yang digunakan di lab ini telah dikurangi untuk menyertakan subset dari tahun-tahun yang tersedia di set data penuh.

Topik yang dibahas

Di akhir lab ini, Anda akan mampu:

• Membuat crawler AWS Glue
• Membuat dan menjalankan tugas di AWS Glue Studio.
• Menjelajahi izin yang diperlukan untuk menjalankan crawler AWS Glue dan tugas AWS Glue Studio.
• Melakukan kueri pada Katalog Data AWS Glue menggunakan Amazon Athena.

Durasi

Diperlukan waktu sekitar 60 menit untuk menyelesaikan lab ini.

Prasyarat

Lab ini membutuhkan:

• Akses ke komputer dengan Wi-Fi dan Microsoft Windows, macOS X, atau Linux (Ubuntu, SuSE, atau Red Hat)
• Browser web modern seperti Google Chrome atau Mozilla Firefox