Indonesia 
English 
Yogyakarta, 3 Desember 2025 – Program Magister Kecerdasan Artifisial (MKA) Departemen Ilmu Komputer dan Elektronika (DIKE) FMIPA UGM bersama AI Core UGM kembali menyelenggarakan kegiatan online workshop bertajuk “Understanding the Transformer Architecture: From the Original Paper to Implementation in Hugging Face.” Acara yang dilaksanakan melalui Zoom Meeting ini menghadirkan Joanito Agili Lopo, alumni MKA UGM yang berfokus pada penelitian Natural Language Processing (NLP), sebagai pemateri.
Pada webinar ini, peserta diajak memahami evolusi arsitektur NLP mulai dari era sebelum Transformer hingga hadirnya model berbasis attention yang kini menjadi fondasi model bahasa modern. Dalam pemaparannya, Joanito memulai dengan menjelaskan The Pre-Transformer Era, ketika model RNN, LSTM, dan GRU masih mendominasi pemrosesan bahasa namun memiliki keterbatasan dalam menangani dependensi panjang. Ia kemudian memperkenalkan The Transformer Era yang menekankan mekanisme self-attention dan positional encoding, serta bagaimana arsitektur encoder-decoder bekerja dalam memproses representasi teks.
Pembahasan berlanjut pada code breakdown implementasi Transformer menggunakan library Hugging Face. Joanito menunjukkan bagaimana komponen inti Transformer seperti multi-head attention, feed-forward network, dan layer normalization diimplementasikan. Ia juga memberikan contoh simple architecture modifications yang umum digunakan dalam riset, seperti variasi attention dan adaptasi struktur untuk model berskala besar.
Sesi tanya jawab berlangsung aktif dan menarik. Peserta mengajukan pertanyaan mengenai penerapan encoder–decoder pada data numerik multivariat untuk anomaly atau fault detection, serta diskusi mengenai alasan token [CLS] digunakan sebagai logit klasifikasi dalam BERT. Joanito menjelaskan bahwa konsep encoder-decoder dapat diterapkan pada data non-teks selama formatnya dapat direpresentasikan sebagai urutan, sementara token [CLS] berfungsi sebagai representasi agregat seluruh konteks input melalui mekanisme self-attention, bukan sekadar penanda awal kalimat.
Webinar ini turut mendukung pencapaian Sustainable Development Goals (SDGs), khususnya SDG 4 (Pendidikan Berkualitas) melalui peningkatan kemampuan literasi pada bidang NLP, SDG 9 (Industri, Inovasi, dan Infrastruktur) melalui pemahaman arsitektur model bahasa sebagai fondasi teknologi kecerdasan buatan modern, serta SDG 17 (Kemitraan untuk Mencapai Tujuan) melalui kolaborasi komunitas akademik dalam membuka akses pengetahuan teknologi secara lebih luas.
Author: Marina
Editor: Rifki
#SDGs4 #SDGs9 #SDGs17
