Mengeksplorasi Potensi: Pengalaman MSIB 6 Kampus Merdeka dalam Pembelajaran Data Engineering Bersama Digital Skola

portalbersama.com – Tangerang Selatan, 19 Juli 2024 – Hi Techies!

Begitulah kami disebut sebagai mentee di Digital Skola. Saya Putri Nur Septia Waty, Mahasiswa Teknik Informatika Universitas Pamulang merasa sangat bersyukur dan beruntung mendapatkan kesempatan untuk belajar Data Engineering di Digital Skola melalui Program Kampus jalur Studi Independen Bersertifikat MSIB batch 6. Kampus Merdeka sendiri adalah bagian dari kebijakan Merdeka Belajar oleh Kementerian Pendidikan, Kebudayaan, Riset, dan Teknologi (Kemendikbudristek) yang memberikan seluruh mahasiswa kesempatan untuk mengasah kemampuan sesuai bakat dan minat dengan terjun langsung ke dunia kerja sebagai langkah persiapan karier. Dengan tekad untuk mengembangkan  diri dan skill, saya mulai mendaftar dengan fokus minat Data engineering ke berbagai mitra yang menyediakan pembalajaran Data engineering di kurikulum mereka.

Setelah persiapan pemberkasan untuk mendaftar, mengikuti tes dan interview. Diterima lah saya di Digital Skola dengan nama kegiatan “Data Engineer Untuk Entry Level: Membangun Dan Mengembangkan Data Warehouse Dengan Pendekatan Design Thinking”. 

PT. Digitalisasi Pemuda Indonesia (Digital Skola) adalah platform edukasi non formal, fokus berkomitmen untuk mendorong pertumbuhan talenta digital di Indonesia dengan langkah memberikan pengetahuan dan kompetensi yang relevan dan dibutuhkan oleh industri saat ini kepada para profesional muda Indonesia. Salah satu Inisiatif itu dengan mendukung pertumbuhan talenta digital sebagai Data Engineer yang berkualitas di Indonesia. Sejalan dengan visi dan misi saya, digital skola menyediakan kurikulum sesuai dengan kebutuhan industri juga didampingi dengan mentor dan tutor yang memiliki pengalaman lebih dari tiga tahun dibidangnya.

Pelaksanaan program yang berlangsung dari tanggal 16 februari – 30 juni 2024. Pada tanggal 9 Febuari, Digital skola mengadakan zoom meeting pada jam 19.00 bernama class introduction Dimana pada sesi ini, diperkenalkan bagaimana kelas Digital Skola dilaksanakan, apa saja assement yang harus dikerjakan, bagaimana pengumpulan tugas nya, bagaimana penilaian nya . Dan Pembentukan nama kelompok yang sudah sebelumnya telah dibentuk oleh tim digital skola. Pada dasarnya sesi ini adalah perkenalan dan dasar-dasar apa yang harus di ketahui bagi kami peserta sib6 di digital Skola ini sebelum memasuki kelas sebenenarnya setelah program onboarding oleh kampus Merdeka tanggal 16 februari.

Di Digital Skola Pelaksanaan kelas dilaksanakan Senin – Sabtu dengan menggunkan zoom untuk pembelajaran daring langsung, Senin hingga kamis pukul 19.15-21.15 merupakan sesi belajar material Data Engineering Module ataupun materi soft skill. Semua materi dibawakan oleh tutor yang berprofesinal di bidang nya yang memiliki pengalaman lebih dari tiga tahun.

Dan pada Hari Jum’at 19.15-21.15 dan Sabtu pukul 10.00-12.00 adalah sesi konsultasi dengan mentor. Konsultasi dengan mentor bisa terkait apa saja tidak hanya terkait materi.

Skill yang dipelajari ada 2 yaitu teknikal Skill dan Soft Skill. Pada teknikal Skill yang dipelajari ada 11 technical skill seperti; Programming Python, Business Intelligence, Database SQL, Database NoSQL, Linux, Datawarehouse & Data Modelling, Java, Hadoop, Mapreduce, Big Data Tools dan Machine Learning. Lalu untuk Soft Skill mencakup leadership skill, communication skill, professional branding, presentation skill, problem solving dan career preparation.

Gambar diatas adalah salah satu contoh pelaksaan interactive live-online learning oleh tutor. Penyampaian materi dilakukan dengan cara penyampaian teori terlebih dahulu dilanjutkan Hands-on practice bersama-sama dipandu oleh Tutor. Jika ada kendala atau hal yang ingin ditanyakan oleh peserta pembelajaran, Tutor akan menjawab dengan baik sehingga terjadi interaksi aktif selama di kelas.

Untuk metode assement kami menggunakan google classroom sebagai media pengumpulan dan assement yang terapkan digital skola ada 5 yaitu :

1. Quiz 

Quiz dilaksanakan setiap kali materi diberikan baik yang materi teknikal mengenai data engineering ataupun mengenail soft skill. Quiz berisi pertanyaan pilihan ganda berkisar 5-20 pertanyaan. Soal-soal ini dirancang untuk menguji pemahaman teoritis peserta terkait materi yang sudah diajarkan.

2. Homework 

Homework berisi tugas praktik yang terkait dengan materi yang sudah disampaikan selama kelas, dengan intruksi tertentu oleh pengajar. Tugas ini dirancang untuk memperkuat pemahaman terhadap materi yang telah dipelajari melalui aplikasi praktis dan real-world scenarios. Setelah menyelesaikan tugas, pengumpulkan hasil kerja melalui Google Classroom, memastikan bahwa semua instruksi diikuti dengan benar dan pekerjaan diserahkan tepat waktu. 

3. Learning Progress Review (LPR)

LPR adalah tugas merangkum materi yang telah dipelajari selama satu minggu dalam bentuk ppt yang di convert ke dalam PDF. Tugas ini untuk melatih kemampuan storytelling dengan belajar menyusun informasi secara terstruktur dan menarik. Ini membantu meningkatkan kemampuan dalam mengkomunikasikan ide dan informasi dengan jelas dan efektif.

4. Professional Branding (PB)

Profesial branding adalah tugas berisi  menampilkan insight yang Anda peroleh selama satu minggu melalui sebuah postingan terstruktur dan menarik di LinkedIn. Di dalam nya dilampirkan juga LPR yang sudah dibuat. Tujuan dari tugas Professional Branding adalah untuk meningkatkan kemampuan  dalam menyampaikan dan mempresentasikan perkembangan belajar secara efektif di platform profesional seperti LinkedIn. Juga, memperkuat citra profesional, menunjukkan komitmen terhadap pembelajaran dan pengembangan diri, serta memperluas jaringan professional. 

Tugas Profesional Branding dan Learning Progress Review adalah praktik pengembangan softskill yang harus dikerjakan setiap minggu. 

5. Project

Implementasi proyek Report Automation, Dashboard, Batch Processing, DBT, Big Data Processing Hadoop and Spark, Orchestration Airflow, Realtime Processing, Machine Learning & Operation, dan End-to-End Data Pipeline.  Proyek ini dibagi menjadi 9 project dan masing-masing batas pengumpulan adalah 2 minggu setelah pemberian tugas. Berikut Rangkuman dari projects yang sudah saya kerjakan dengan bimbingan tutor di digital skola.

1. Proyek 1 dilaksanakan pada 29 February merupakan proyek report automation. Proyek otomasi ini bertujuan untuk merancang dan mengembangkan sistem katalog perpustakaan berbasis objek. Fokus utama proyek ini adalah untuk memodelkan objek-objek penting seperti Buku, Penulis, dan Katalog dalam sistem yang memungkinkan pencarian buku berdasarkan atribut seperti penulis, judul, dan subjek.

https://github.com/nursepti/sib6-project1/tree/main

2. Proyek 2 dilakasanakan pada tanggal 7 Maret merupakan Proyek ini melibatkan penggunaan dbt (data build tool) untuk mengelola dan mentransformasi data yang tersimpan di PostgreSQL. Tujuan dari proyek ini adalah untuk membaca data dari basis data PostgreSQL, menerapkan transformasi yang diperlukan menggunakan dbt, dan kemudian mengembalikan hasil transformasi ke PostgreSQL. Data mart yang dihasilkan akan dirancang untuk menjawab pertanyaan bisnis spesifik, memungkinkan analisis yang lebih mendalam dan wawasan yang lebih baik untuk pengambilan keputusan strategis.

Gambar 10. Project 2 workflow

https://github.com/nursepti/sib6-project2

3. Projek 3 dilaksankan pada 27 Maret adalah projek batch processing.  Project 3 ini bertujuan untuk membuat script migrasi data dari source table di database production marketplace ke data warehouse. Hal ini bertujuan untuk memungkinkan tim data analyst membuat dashboard terkait detail pesanan dari sumber data yang ada di data warehouse, sehingga tidak membebani database produksi. 

https://github.com/nursepti/sib6-project3

4. Projek 4 dilaksanakan 16 April

Proyek ini berfokus pada proses ETL (Extract, Transform, Load) dari MySQL ke PostgreSQL dalam lingkungan Docker menggunakan Python. Data yang dimiliki akan dimuat ke dalam MySQL terlebih dahulu, kemudian direplikasi ke PostgreSQL untuk analisis lebih lanjut. Proses ini bertujuan untuk memastikan data yang akurat dan konsisten tersedia di PostgreSQL, memanfaatkan fleksibilitas dan kehandalan Docker untuk pengelolaan lingkungan yang terisolasi dan efisien.

https://github.com/nursepti/Project4-Etl?authuser=0

5. Project 5 dilaksanakan 23 April

Proyek ini bertujuan untuk membuat API CRUD (Create, Read, Update, Delete) menggunakan Flask dan Docker. Dalam proyek ini, API akan memiliki empat endpoint utama: create user, update user, get user, dan delete user. Alat yang diperlukan untuk menyelesaikan proyek ini meliputi Docker untuk mengelola lingkungan kontainer, Postman untuk pengujian API, dan Visual Studio Code untuk pengembangan kode. Tujuan dari proyek ini adalah untuk membangun layanan API yang efisien dan terstruktur, memungkinkan pengelolaan data pengguna dengan mudah dan terintegrasi dalam aplikasi yang lebih besar.

https://github.com/nursepti/SIB6-Project5_CRUD_API_FLASK?authuser=0

6. Project 6 dilaksanakan  tanggal 11 Mei.

Project 6 adalah lanjutan dari Project 3 dimana pada project 3 Proses ekstraksi data ke database PostgreSQL telah diselesaikan, selanjutnya adalah memindahkan Data Warehouse dari PostgreSQL ke Hadoop dan menjalankan proses ETL menggunakan MapReduce. Dalam proyek ini, akan dibuat tabel data mart yang digunakan oleh data analis untuk membuat dashboard laporan pesanan bulanan. Seluruh proses ini harus diselesaikan dalam waktu kurang dari satu jam. Tabel data mart yang dihasilkan harus memiliki kolom output yaitu bulan (month) dan total pesanan (total_orders). Tugas yang harus dilakukan meliputi pembuatan tabel DWH ‘dim_orders’ di Hadoop dan pembuatan data mart ‘total_orders_based_on_month’ menggunakan MapReduce dengan data yang diambil dari DWH. 

https://github.com/nursepti/sib6-Project-6_Data-Analytics-with-Hadoop

7. Project 7. 

Projek 7 tidak diadakan karena suatu alasan tertentu

8. Project 8 dilaksanakan 13 Juni.

Pada Project 8, kami mengimplementasikan penggunaan Kafka dan machine learning untuk analisis sentiment. Kami berhasil menghasilkan kalimat acak menggunakan wonderwords dan mengirimkannya ke Kafka topic ‘sentences’. Setiap pesan yang dihasilkan dicatat dalam log, dan menggunakan modul TextBlob, kami melakukan analisis sentiment yang menghasilkan output dalam bentuk dictionary.

https://github.com/nursepti/sib6-Project8

9. Project 9 dilaksanakan  18 Juni-26 juni 

Project 9 adalah final project. Proyek Final (Project 9) melibatkan pembuatan pipeline batch dimana Saya dan kelompok mengambil data berita dari Finnhub API, memuatnya ke MongoDB, melakukan analisis sentiment, dan menyimpan hasilnya ke PostgreSQL sebagai data warehouse dan melakukan Scheduling menggunakan airflow.

https://github.com/nursepti/sib6_Final_Project

Pada tanggal 27 Febuari, saya dan kelompok melakukan presentasi final project ini. Sebagai penilaian terakhir perjalanan pembelajaran kami selama di Digital Skola. Presentasi dilakukan secara lancar dan masukan tutor untuk projek ini sangat penting untuk perbaikan maupun catatan kedepannya ketika membuat projek lebih lanjut  

Begitulah perjalanan saya selama mengikuti program SIB 6 Data Engineering bersama Digital Skola. Pengalaman ini sungguh berharga. Saya ingin mengucapkan terima kasih kepada Para Tutor, Mentor, Class Representative dan rekan kelompok saya yang telah menemani dan membimbing saya sepanjang program ini. Perjalanan ini bukanlah akhir dari pembelajaran saya dalam bidang Data Engineering, melainkan sebuah awal. Karena melalui Digital Skola, saya mendapatkan arah yang lebih jelas untuk langkah selanjutnya dan termotivasi untuk terus belajar dan mengembangkan diri dalam mengejar impian saya. Saya harap tulisan ini dapat memberikan gambaran dan inspirasi bagi mahasiswa lain yang ingin belajar Data Engineering melalui Digital Skola dan program MSIB.

Penulis : Putri Nur Septia Waty