Soal + Pembahasan Lengkap UAS IF3270 Pembelajaran Mesin 2024-2025

Bagian I - Pilihan Berganda (Nilai 30, @2.5)

Petunjuk Soal Beri tanda O pada pilihan yang tepat, dan tanda X pada pilihan yang salah. Pilihan yang tidak diberi tanda tidak mendapat nilai.

---

Soal 1

Soal: Terdapat spesifikasi arsitektur neural network “many-to-one” yang menerima input terdiri atas 3 fitur, sebuah hidden layer berupa RNN yang terdiri atas 4 neuron dengan 5 time-step, dan sebuah output layer yang terdiri atas dua neuron. Jika digambarkan dalam ‘unfolded network’ tanpa mengilustrasikan bias, maka arsitekturnya adalah sebagai berikut.

Analisis setiap pilihan (berdasarkan gambar soal):

• a - 5 blok h(4), setiap blok menerima x(3), output y1 & y2 muncul dari dua timestep terakhir (t=4 dan t=5). → X ❌ - many-to-one seharusnya output hanya dari 1 timestep terakhir saja, bukan dua.

• b - 5 blok h(4), tetapi input-nya adalah “Fitur 1 x1”, “Fitur 2 x1”, “Fitur 3 x1” (masing-masing 1 fitur per timestep berbeda), output y1 & y2 dari dua timestep terakhir. → X ❌ - Interpretasi fitur salah: seharusnya tiap timestep menerima vektor 3 fitur ($x(3)$), bukan 1 fitur per timestep. Lagi pula output dari 2 timestep.

• c - Hanya 3 blok h(4), input x(3) tiap timestep, output y(2) dari timestep terakhir saja. → X ❌ - Jumlah timestep hanya 3, seharusnya 5.

• d - 4 blok (h1, h2, h3, h4) dengan input masing-masing “Fitur 1”, “Fitur 2”, “Fitur 3” sebagai 3 timestep terpisah, output y(2) dari timestep terakhir. → X ❌ - 3 fitur diinterpretasikan sebagai 3 timestep (bukan vektor fitur dalam 1 timestep), dan hanya 4 blok hidden. Tidak sesuai.

• e - 5 blok h(4), setiap blok menerima x(3) (vektor 3 fitur), output y(2) hanya dari timestep t=5 (terakhir) via bobot V. → O ✅ - Sesuai spesifikasi: 5 timestep, 4 neuron hidden, 3 fitur input, output hanya dari timestep terakhir = many-to-one.

Pilihan	Jawaban
a	X
b	X
c	X
d	X
e	O

---

Soal 2

Soal: Terdapat arsitektur neural network “many-to-many (equal input-output)” yang menerima dataset pasangan input-output sebagai berikut; sebuah hidden layer berupa RNN dengan 2 neuron dan 3 time-steps dengan fungsi aktivasi tanh, dan sebuah output layer dengan 1 neuron dan fungsi aktivasi sigmoid. Timestep dimulai dari t=1. Tabel pasangan input-output:

t	x1	x2	x3	y
1	0.1	0.2	0.3	0.4
2	0.4	0.5	0.6	0.5
3	0.7	0.8	0.9	0.6

Kunci InterpretasiMany-to-many equal: setiap baris = satu time-step. Tiga kolom input = 3 fitur yang diterima sekaligus pada timestep tersebut.

a. Untuk t=1, maka data inputnya adalah: ⟨0.1, 0.2, 0.3⟩. → O ✅ - Baris pertama, kolom x1 x2 x3.

b. Untuk t=2, maka data inputnya adalah: ⟨0.2, 0.5, 0.8⟩. → X ❌ - Input t=2 adalah baris kedua = ⟨0.4, 0.5, 0.6⟩. Pilihan ⟨0.2, 0.5, 0.8⟩ adalah nilai kolom x1 di t=1,2,3 dibaca ke bawah (interpretasi columnar yang salah untuk many-to-many equal).

c. Nilai neuron pertama di hidden layer t=2 adalah: $\tanh(0.4 \times 0.1 + 0.5 \times 0.1 + 0.6 \times 0.1 + 0.2 \times x + 0.1)$ → O ✅ - Input t=2 = ⟨0.4, 0.5, 0.6⟩, tiap fitur × bobot 0.1, plus kontribusi hidden sebelumnya $0.2 \times x$, plus bias 0.1.

d. Nilai neuron pertama di hidden layer t=2 adalah: $\tanh(0.2 \times 0.1 + 0.5 \times 0.1 + 0.8 \times 0.1 + 0.2 \times x + 0.1)$ → X ❌ - Nilai 0.2 dan 0.8 adalah data kolom x1 di t=1 dan t=3, bukan input t=2 yang benar ⟨0.4, 0.5, 0.6⟩.

e. Jika nilai hidden t=2 adalah $z = [z_1, z_2]$, nilai output t=2 adalah: $\text{sigmoid}(0.3 \times z_1 + 0.3 \times z_2 + 0.3)$ → O ✅ - 2 hidden neuron masing-masing berbobot 0.3, bias 0.3, ke 1 neuron output.

Pilihan	Jawaban
a	O
b	X
c	O
d	X
e	O

---

Soal 3

Soal: Terdapat spesifikasi arsitektur neural network sebagai berikut. Input terdiri atas 10 fitur. Hidden layer pertama adalah Simple RNN dengan enam neuron, hidden layer kedua adalah Simple RNN dengan lima neuron, hidden layer ketiga adalah Simple RNN dengan empat neuron, hidden layer keempat adalah dense layer dengan tiga neuron, dan sebuah output layer dengan dua neuron. Banyaknya parameter yang perlu dipelajari adalah:

• a. 234
• b. 225
• c. 831
• d. 148
• e. 200

Formula Jumlah ParameterSimple RNN dengan $n$ neuron, menerima input dari dimensi $m$: $\text{params} = \underbrace{n \times m}_{W_{xh}} + \underbrace{n \times n}_{W_{hh}} + \underbrace{n}_{b_h} = (m + n + 1) \times n$

Dense layer dengan $k$ neuron, input dari dimensi $m$: $\text{params} = (m + 1) \times k$

Layer 1 - Simple RNN, 6 neuron, input $m=10$: $\text{params}_1 = (m + n + 1) \times n = (10 + 6 + 1) \times 6 = 17 \times 6 = 102$

Layer 2 - Simple RNN, 5 neuron, input dari 6 neuron ($m=6$): $\text{params}_2 = (m + n + 1) \times n = (6 + 5 + 1) \times 5 = 12 \times 5 = 60$

Layer 3 - Simple RNN, 4 neuron, input dari 5 neuron ($m=5$): $\text{params}_3 = (m + n + 1) \times n = (5 + 4 + 1) \times 4 = 10 \times 4 = 40$

Layer 4 - Dense, 3 neuron, input dari 4 neuron ($m=4$): $\text{params}_4 = (m + 1) \times k = (4 + 1) \times 3 = 5 \times 3 = 15$

Output Layer - Dense, 2 neuron, input dari 3 neuron ($m=3$): $\text{params}_5 = (m + 1) \times k = (3 + 1) \times 2 = 4 \times 2 = 8$

Total: $\text{Total} = 102 + 60 + 40 + 15 + 8 = \boxed{225}$

Jawaban: b. 225 ✅

---

Soal 4

Soal: Tentukan pernyataan yang benar dari pernyataan-pernyataan berikut ini.

a. Context Vector berusaha menangkap informasi dari hidden unit timestep terakhir pada Encoder, jadi kita tidak bisa memanfaatkannya pada arsitektur “one-to-many”. → X ❌ - Benar bahwa context vector berasal dari hidden state terakhir encoder, namun tidak benar bahwa ia tidak bisa dipakai untuk one-to-many. Context vector bisa menjadi initial hidden state decoder untuk berbagai konfigurasi arsitektur.

b. Context Vector hasil dari tahap encoder hanya digunakan oleh bagian Decoder timestep pertama saja. → X ❌ - Pada arsitektur standar (tanpa attention), context vector $c = h_{N_x}$ digunakan sebagai initial hidden state $s_0$ decoder dan biasanya juga disertakan sebagai input di setiap timestep decoder, bukan hanya timestep pertama.

c. Dalam arsitektur Encoder-Decoder, tidak ada input dari dataset pelatihan yang menjadi masukan untuk tahap Decoder. → X ❌ - Selama training (dengan teacher forcing), output target dari data pelatihan ($y_{t-1}$) digunakan sebagai input decoder timestep berikutnya.

d. Dalam arsitektur Encoder-Decoder “many-to-many” di mana panjang input mungkin berbeda dengan panjang output, output dari timestep sebelumnya menjadi masukan untuk Decoder. → O ✅ - Inilah mekanisme decoder autoregresif: $s_t = f(s_{t-1}, y_{t-1}, c)$ dan $y_t = g(s_t)$.

e. Salah satu contoh pemanfaatan Encoder-Decoder dengan arsitektur “many-to-one” adalah menerima masukan berupa video dan menghasilkan teks kalimat penjelasannya (video captioning). → X ❌ - Video captioning menghasilkan kalimat = sequence token, bukan satu nilai. Arsitekturnya adalah many-to-many (encoder memproses sequence frame video, decoder menghasilkan sequence kata). Bukan many-to-one.

Pilihan	Jawaban
a	X
b	X
c	X
d	O
e	X

---

Soal 5

Soal: Model estimasi jumlah penumpang satu bulan berikutnya dari suatu perusahaan transportasi dikembangkan berdasarkan time series data 10 tahun terakhir. Model dapat dikembangkan dengan model RNN berdasarkan data 3 bulan sebelumnya, tentukan kebenaran pernyataan berikut ini.

a. Arsitektur one-to-many tidak dapat digunakan. → O ✅ - Input adalah sequence 3 nilai (3 bulan sebelumnya) → arsitektur many-to-one yang tepat. One-to-many mengasumsikan input tunggal, tidak cocok.

b. Output layer dari model RNN ini memiliki satu neuron, sesuai untuk task regresi. → O ✅ - Prediksi jumlah penumpang (nilai kontinu) = regresi → 1 neuron output, aktivasi linear.

c. Jumlah timestep dari model RNN ini adalah 10. → X ❌ - Jumlah timestep = panjang input sequence = 3 (3 bulan sebelumnya). Data 10 tahun = ukuran dataset, bukan timestep.

d. Output akhir model berupa sequence 3 nilai. → X ❌ - Output adalah 1 nilai (prediksi 1 bulan berikutnya).

Pilihan	Jawaban
a	O
b	O
c	X
d	X

---

Soal 6

Soal: Mesin penerjemah mampu menerima teks bahasa sumber dan menghasilkan teks bahasa target. Jika mesin penerjemah dikembangkan dengan model RNN, tentukan kebenaran pernyataan berikut ini.

a. Arsitektur one-to-many atau many-to-one tidak dapat digunakan. → O ✅ - Machine translation memerlukan many-to-many (seq2seq) karena baik input maupun output adalah sequence.

b. Output layer dari model RNN memiliki jumlah neuron sebanyak jumlah vocabulary unik bahasa sumber dari data latih. → X ❌ - Output layer berukuran vocabulary bahasa target, karena model memprediksi token dalam bahasa target.

c. Karena panjang input ≠ panjang output, model RNN tersebut dirancang untuk melakukan task sequence labeling. → X ❌ - Sequence labeling = input dan output sama panjang (misal NER). Machine translation adalah seq2seq / sequence generation, bukan sequence labeling.

d. Karena panjang input ≠ panjang output, diperlukan arsitektur many-to-many dengan output akhir berupa sequence vocabulary sesuai indeks nilai dari output layer setiap timestep. → O ✅ - Encoder-Decoder many-to-many; decoder menghasilkan distribusi softmax atas vocabulary di tiap timestep, dan token dipilih via argmax.

Pilihan	Jawaban
a	O
b	X
c	X
d	O

---

Soal 7

Soal: Model analisis sentimen teks dikembangkan berdasarkan kumpulan review teks yang telah berlabel positif atau negatif. Model dapat dikembangkan dengan model RNN, tentukan kebenaran pernyataan berikut ini.

a. Arsitektur many-to-one tidak dapat digunakan. → X ❌ - Justru many-to-one adalah arsitektur yang paling sesuai: banyak token → 1 label sentimen.

b. Output layer dari model RNN memiliki dua neuron sigmoid. → X ❌ - Untuk klasifikasi biner standar, cukup 1 neuron sigmoid. Dua neuron sigmoid bukan pendekatan yang umum (yang umum adalah 2 neuron + softmax, atau 1 sigmoid).

c. Model RNN ini termasuk melakukan task regresi. → X ❌ - Analisis sentimen adalah klasifikasi, bukan regresi.

d. Output akhir dari model diambil dari output layer timestep terakhir. → O ✅ - Pada many-to-one, hanya hidden state timestep terakhir yang diumpankan ke output layer.

Pilihan	Jawaban
a	X
b	X
c	X
d	O

---

Soal 8

Soal: Manakah dari pernyataan berikut yang benar mengenai perbedaan memori antara RNN dan FFNN?

a. FFNN dapat menyimpan konteks waktu jika jumlah layer cukup banyak. → X ❌ - Menambah layer FFNN tidak memberikan kemampuan memori temporal; FFNN tidak punya recurrent connection.

b. RNN mampu mempelajari hubungan temporal dalam data. → O ✅ - Hidden state $h_t$ membawa informasi dari timestep sebelumnya.

c. FFNN hanya mampu memetakan input ke output tanpa mengingat input sebelumnya. → O ✅ - FFNN bersifat stateless; setiap forward pass independen.

d. RNN dapat menyimpan informasi jangka pendek atau panjang tergantung arsitekturnya. → O ✅ - Simple RNN: short-term memory (vanishing gradient). LSTM/GRU: long-term memory.

Pilihan	Jawaban
a	X
b	O
c	O
d	O

---

Soal 9

Soal: Bidirectional RNN (Bi-RNN) dibandingkan dengan RNN untuk ukuran arsitektur yang setara.

a. Bi-RNN menghasilkan keluaran pada output layer sejumlah dua kali keluaran RNN. → X ❌ - Jumlah output layer tidak berubah; yang berbeda adalah representasi hidden (digabung dari 2 arah), bukan ukuran output layer.

b. Bi-RNN memerlukan jumlah time step setengah kali lipat jumlah time step RNN. → X ❌ - Jumlah timestep sama; Bi-RNN memproses sequence yang sama, dua kali (forward + backward).

c. RNN dan Bi-RNN keduanya memproses data masukan dari masa lalu ke masa depan. → X ❌ - RNN hanya forward. Bi-RNN memproses dua arah: forward (kiri→kanan) dan backward (kanan→kiri).

d. Bi-RNN memiliki jumlah parameter lebih banyak daripada RNN. → O ✅ - Bi-RNN = 2 RNN (forward + backward) → parameternya ~2× RNN dengan ukuran setara.

Pilihan	Jawaban
a	X
b	X
c	X
d	O

---

Soal 10

Soal: Manakah pernyataan yang benar mengenai Bi-RNN?

a. Bi-RNN hanya cocok untuk data teks. → X ❌ - Bi-RNN dapat digunakan untuk semua data sekuensial: audio, time series, sinyal biologis, dll.

b. Hasil dari dua arah forward state dan backward state pada Bi-RNN digabungkan dengan cara penjumlahan. → X ❌ - Penggabungan yang paling umum adalah concatenation $[h_t^{\to}; h_t^{\leftarrow}]$, bukan penjumlahan.

c. Bi-RNN banyak digunakan pada persoalan sequence tagging, seperti sentiment analysis. → O ✅ - Klaim umumnya benar: sequence tagging (NER, POS tagging, dll.) memang use case utama Bi-RNN karena butuh konteks dari dua arah.

Tapi contohnya kurang tepatSentiment analysis bukan contoh sequence tagging - ia adalah many-to-one classification (satu label untuk seluruh sequence), seperti yang sudah dibahas di Soal 7. Contoh sequence tagging yang lebih tepat: NER atau POS tagging (keduanya many-to-many, satu label per token). Pernyataan ini tetap dinilai O karena klaim utamanya (Bi-RNN untuk sequence tagging) benar, namun contoh yang diberikan di soal sebenarnya keliru/menyesatkan.

d. Bi-RNN mengabaikan urutan data masukan. → X ❌ - Bi-RNN justru sangat bergantung urutan; ia memproses sequence secara berurutan dari dua arah.

Pilihan	Jawaban
a	X
b	X
c	O
d	X

---

Soal 11

Soal: Dalam sequence labeling dengan LSTM, bagaimana cara umum mengonversi output hidden state menjadi label kelas?

• a. Dengan membandingkan hidden state dengan semua input
• b. Dengan menggunakan softmax layer setelah hidden state ✅
• c. Dengan menghitung rata-rata semua hidden state
• d. Dengan fungsi aktivasi sigmoid di input

Jawaban: b ✅

Pada setiap timestep $t$, hidden state $h_t$ diproyeksikan ke dimensi jumlah kelas: $\hat{y}_t = \text{softmax}(V \cdot h_t + b_y)$

---

Soal 12

Soal: Diberikan input sequence yang merepresentasikan token: X = [0.5, 0.3], [0.2, 0.1], [0.6, 0.8], dan target label sequence: Y = [B, A, C]. Digunakan model prediksi LSTM yang menghasilkan output berupa probabilitas per kelas seperti tabel berikut:

Token	Target	P(A)	P(B)	P(C)	Prediksi (argmax)	Benar?
T1	B	0.2	0.7	0.1	B	✅
T2	A	0.3	0.1	0.6	C	❌
T3	C	0.6	0.2	0.2	A	❌

• Prediksi akhir: [B, C, A]
• Token benar: hanya T1 → 1 token benar
• Akurasi: $\frac{1}{3} \approx 33.3\%$

a. Banyaknya token yang diprediksi benar adalah dua token. → X ❌ (hanya 1) b. Akurasi hasil prediksi adalah 100%. → X ❌ c. Prediksi kelas akhir untuk input sequence tersebut adalah [B, C, A]. → O ✅ d. Semua jawaban salah → X ❌ (karena c benar)

Pilihan	Jawaban
a	X
b	X
c	O
d	X

---

Bagian II - LSTM Forward & Backward Pass (Nilai 20)

Setup Soal

Soal: Diketahui LSTM sederhana dengan arsitektur input dan hidden layer seperti gambar. Perhatikan input matriks X dengan 2 fitur, nilai matriks weight U, W, dan bias b. Untuk penyederhanaan, target yang tercantum pada input matriks adalah untuk target pada hidden unit. Fungsi aktivasi yang digunakan sesuai default pada unit LSTM.

a. [Nilai 10] Lakukan 1 kali forward pass, tuliskan nilai output pada hidden unit dari 2 time step. Hitung nilai error total dari tahap ini. Sertakan cara (formula) perhitungan lengkap untuk setiap gate dan neuron.

b. [Nilai 10] Lakukan 1 kali backward pass (BPTT) dengan menggunakan hasil forward pass pada bagian a. Gunakan nilai learning rate 0.5. Tuliskan nilai matriks weight terbaru. Sertakan cara (formula) perhitungan lengkap untuk setiap gate dan neuron.

Catatan: untuk semua perhitungan, gunakan ketelitian tiga angka di belakang koma.

Matriks Input:

id	X1	X2	Target
id1	0.5	1.2	0.5
id2	1.5	1.0	0.75

→ id1 = timestep $t=1$, id2 = timestep $t=2$.

Initial state: $h_0 = 0$, $c_0 = 0$

Matriks Weight:

Gate	$U$ (input→hidden)	$W$ (hidden→hidden)	$b$ (bias)
Forget $f$	$U_f = [1,\ 1]$	$W_f = 0.5$	$b_f = 1$
Input $i$	$U_i = [1,\ 0]$	$W_i = 0.3$	$b_i = -1$
Candidate $\tilde{c}$	$U_c = [0,\ 0]$	$W_c = 0.5$	$b_c = 1$
Output $o$	$U_o = [0,\ 1]$	$W_o = 0.3$	$b_o = -1$

Fungsi Aktivasi LSTM Default

• Gate (forget, input, output): sigmoid $\sigma(z) = \dfrac{1}{1+e^{-z}}$
• Candidate cell state: tanh
• Hidden output: $h_t = o_t \cdot \tanh(c_t)$

[!abstract] Legenda Notasi (Bagian II)

Simbol	Arti di sini	⚠️ Beda makna di bagian lain
$h_t$	hidden state - short-term memory	-
$c_t$	cell state - long-term memory	di Bagian III, $c$/$c_t$ = context vector (beda total!)
$U$	bobot input → hidden (per gate)	-
$W$	bobot hidden → hidden / recurrent (per gate)	beda dari $W_a, W_d, W_c$ di Bagian III
$b$	bias (per gate)	-
$f_t, i_t, \tilde c_t, o_t$	nilai gate forget / input / candidate / output	-
$\eta$	learning rate	di Bagian IV ditulis $\alpha$ - simbol beda, konsep sama
$\delta_{(\cdot)}$	local gradient di suatu gate, $= \frac{\partial \mathcal{L}}{\partial z_{(\cdot)}}$	-

Formula LSTM (notasi skalar, 1 neuron):

$f_t = \sigma(U_f \cdot x_t + W_f \cdot h_{t-1} + b_f)$ $i_t = \sigma(U_i \cdot x_t + W_i \cdot h_{t-1} + b_i)$ $\tilde{c}_t = \tanh(U_c \cdot x_t + W_c \cdot h_{t-1} + b_c)$ $c_t = f_t \cdot c_{t-1} + i_t \cdot \tilde{c}_t$ $o_t = \sigma(U_o \cdot x_t + W_o \cdot h_{t-1} + b_o)$ $h_t = o_t \cdot \tanh(c_t)$

---

2.a Forward Pass

Timestep $t=1$: $x_1 = [0.5,\ 1.2]$, $h_0=0$, $c_0=0$

Forget gate $f_1$: $z_{f_1} = U_f \cdot x_1 + W_f \cdot h_0 + b_f = (1)(0.5) + (1)(1.2) + (0.5)(0) + 1 = 0.5 + 1.2 + 0 + 1 = 2.7$ $f_1 = \sigma(2.7) = \frac{1}{1+e^{-2.7}} = \frac{1}{1+0.067} = \frac{1}{1.067} = \mathbf{0.937}$

Input gate $i_1$: $z_{i_1} = U_i \cdot x_1 + W_i \cdot h_0 + b_i = (1)(0.5) + (0)(1.2) + (0.3)(0) + (-1) = 0.5 + 0 + 0 - 1 = -0.5$ $i_1 = \sigma(-0.5) = \frac{1}{1+e^{0.5}} = \frac{1}{1+1.649} = \frac{1}{2.649} = \mathbf{0.378}$

Candidate cell $\tilde{c}_1$: $z_{\tilde{c}_1} = U_c \cdot x_1 + W_c \cdot h_0 + b_c = (0)(0.5) + (0)(1.2) + (0.5)(0) + 1 = 0 + 0 + 0 + 1 = 1.0$ $\tilde{c}_1 = \tanh(1.0) = \mathbf{0.762}$

Cell state $c_1$: $c_1 = f_1 \cdot c_0 + i_1 \cdot \tilde{c}_1 = (0.937)(0) + (0.378)(0.762) = 0 + 0.288 = \mathbf{0.288}$

Output gate $o_1$: $z_{o_1} = U_o \cdot x_1 + W_o \cdot h_0 + b_o = (0)(0.5) + (1)(1.2) + (0.3)(0) + (-1) = 0 + 1.2 + 0 - 1 = 0.2$ $o_1 = \sigma(0.2) = \frac{1}{1+e^{-0.2}} = \frac{1}{1+0.819} = \frac{1}{1.819} = \mathbf{0.550}$

Hidden state $h_1$: $h_1 = o_1 \cdot \tanh(c_1) = (0.550) \cdot \tanh(0.288) = (0.550)(0.280) = \mathbf{0.154}$

---

Timestep $t=2$: $x_2 = [1.5,\ 1.0]$, $h_1=0.154$, $c_1=0.288$

Forget gate $f_2$: $z_{f_2} = (1)(1.5) + (1)(1.0) + (0.5)(0.154) + 1 = 1.5 + 1.0 + 0.077 + 1 = 3.577$ $f_2 = \sigma(3.577) = \frac{1}{1+e^{-3.577}} = \frac{1}{1+0.028} = \mathbf{0.973}$

Input gate $i_2$: $z_{i_2} = (1)(1.5) + (0)(1.0) + (0.3)(0.154) + (-1) = 1.5 + 0 + 0.046 - 1 = 0.546$ $i_2 = \sigma(0.546) = \frac{1}{1+e^{-0.546}} = \frac{1}{1+0.579} = \mathbf{0.633}$

Candidate cell $\tilde{c}_2$: $z_{\tilde{c}_2} = (0)(1.5) + (0)(1.0) + (0.5)(0.154) + 1 = 0 + 0 + 0.077 + 1 = 1.077$ $\tilde{c}_2 = \tanh(1.077) = \mathbf{0.792}$

Cell state $c_2$: $c_2 = f_2 \cdot c_1 + i_2 \cdot \tilde{c}_2 = (0.973)(0.288) + (0.633)(0.792) = 0.280 + 0.501 = \mathbf{0.781}$

Output gate $o_2$: $z_{o_2} = (0)(1.5) + (1)(1.0) + (0.3)(0.154) + (-1) = 0 + 1.0 + 0.046 - 1 = 0.046$ $o_2 = \sigma(0.046) = \frac{1}{1+e^{-0.046}} = \frac{1}{1+0.955} = \mathbf{0.512}$

Hidden state $h_2$: $h_2 = o_2 \cdot \tanh(c_2) = (0.512) \cdot \tanh(0.781) = (0.512)(0.653) = \mathbf{0.334}$

---

Hitung Error Total

Target: $\hat{h}_1 = 0.5$, $\hat{h}_2 = 0.75$. Gunakan MSE: $\mathcal{L}_t = \frac{1}{2}(h_t - \hat{h}_t)^2$

$\mathcal{L}_1 = \frac{1}{2}(h_1 - \hat{h}_1)^2 = \frac{1}{2}(0.154 - 0.5)^2 = \frac{1}{2}(-0.346)^2 = \frac{1}{2}(0.120) = \mathbf{0.060}$

$\mathcal{L}_2 = \frac{1}{2}(h_2 - \hat{h}_2)^2 = \frac{1}{2}(0.334 - 0.75)^2 = \frac{1}{2}(-0.416)^2 = \frac{1}{2}(0.173) = \mathbf{0.086}$

$\boxed{\mathcal{L}_{\text{total}} = \mathcal{L}_1 + \mathcal{L}_2 = 0.060 + 0.086 = 0.146}$

Ringkasan Forward Pass:

Variabel	t=1	t=2
$f_t$	0.937	0.973
$i_t$	0.378	0.633
$\tilde{c}_t$	0.762	0.792
$c_t$	0.288	0.781
$o_t$	0.550	0.512
$h_t$	0.154	0.334
$\tanh(c_t)$	0.280	0.653

---

2.b Backward Pass (BPTT), $\eta = 0.5$

Tidak Keluar di Ujian Menurut info terbaru, BPTT tidak akan keluar di ujian - bagian ini boleh dilewati/tidak perlu dipelajari lagi.

Notasi & Turunan

• $\sigma'(z) = \sigma(z)(1-\sigma(z))$, sehingga $\frac{\partial f_t}{\partial z_{f_t}} = f_t(1-f_t)$
• $\tanh'(z) = 1 - \tanh^2(z)$, sehingga $\frac{\partial \tilde{c}_t}{\partial z_{\tilde{c}_t}} = 1-\tilde{c}_t^2$
• Dari MSE: $\frac{\partial \mathcal{L}_t}{\partial h_t} = h_t - \hat{h}_t$
• Update rule: $W \leftarrow W - \eta \cdot \frac{\partial \mathcal{L}}{\partial W}$

---

Backward t=2

Gradient dL/dh₂: $\frac{\partial \mathcal{L}}{\partial h_2} = h_2 - \hat{h}_2 = 0.334 - 0.750 = -0.416$

Gradient ke gate output $o_2$: $\frac{\partial \mathcal{L}}{\partial o_2} = \frac{\partial \mathcal{L}}{\partial h_2} \cdot \tanh(c_2) = (-0.416)(0.653) = -0.272$ $\delta_{o_2} = \frac{\partial \mathcal{L}}{\partial o_2} \cdot o_2(1-o_2) = (-0.272)(0.512)(1-0.512) = (-0.272)(0.512)(0.488) = -0.068$

Gradient ke cell state $c_2$: $\frac{\partial \mathcal{L}}{\partial c_2} = \frac{\partial \mathcal{L}}{\partial h_2} \cdot o_2 \cdot (1 - \tanh^2(c_2)) = (-0.416)(0.512)(1-0.653^2) = (-0.416)(0.512)(0.574) = -0.122$

Gradient ke candidate $\tilde{c}_2$: $\frac{\partial \mathcal{L}}{\partial \tilde{c}_2} = \frac{\partial \mathcal{L}}{\partial c_2} \cdot i_2 = (-0.122)(0.633) = -0.077$ $\delta_{\tilde{c}_2} = \frac{\partial \mathcal{L}}{\partial \tilde{c}_2} \cdot (1-\tilde{c}_2^2) = (-0.077)(1-0.792^2) = (-0.077)(0.373) = -0.029$

Gradient ke input gate $i_2$: $\frac{\partial \mathcal{L}}{\partial i_2} = \frac{\partial \mathcal{L}}{\partial c_2} \cdot \tilde{c}_2 = (-0.122)(0.792) = -0.097$ $\delta_{i_2} = \frac{\partial \mathcal{L}}{\partial i_2} \cdot i_2(1-i_2) = (-0.097)(0.633)(1-0.633) = (-0.097)(0.633)(0.367) = -0.022$

Gradient ke forget gate $f_2$: $\frac{\partial \mathcal{L}}{\partial f_2} = \frac{\partial \mathcal{L}}{\partial c_2} \cdot c_1 = (-0.122)(0.288) = -0.035$ $\delta_{f_2} = \frac{\partial \mathcal{L}}{\partial f_2} \cdot f_2(1-f_2) = (-0.035)(0.973)(1-0.973) = (-0.035)(0.973)(0.027) = -0.001$

Gradient weight dari t=2 (bobot $W$ terhubung ke $h_{t-1} = h_1 = 0.154$; bobot $U$ ke $x_2$; bias ke 1):

$\frac{\partial \mathcal{L}}{\partial W_f}\bigg|_{t=2} = \delta_{f_2} \cdot h_1 = (-0.001)(0.154) \approx 0.000$ $\frac{\partial \mathcal{L}}{\partial W_i}\bigg|_{t=2} = \delta_{i_2} \cdot h_1 = (-0.022)(0.154) = -0.003$ $\frac{\partial \mathcal{L}}{\partial W_c}\bigg|_{t=2} = \delta_{\tilde{c}_2} \cdot h_1 = (-0.029)(0.154) = -0.004$ $\frac{\partial \mathcal{L}}{\partial W_o}\bigg|_{t=2} = \delta_{o_2} \cdot h_1 = (-0.068)(0.154) = -0.010$

$\frac{\partial \mathcal{L}}{\partial U_f}\bigg|_{t=2} = \delta_{f_2} \cdot x_2^T = (-0.001)[1.5,\ 1.0] = [-0.001,\ -0.001]$ $\frac{\partial \mathcal{L}}{\partial U_i}\bigg|_{t=2} = \delta_{i_2} \cdot x_2^T = (-0.022)[1.5,\ 1.0] = [-0.034,\ -0.022]$ $\frac{\partial \mathcal{L}}{\partial U_c}\bigg|_{t=2} = \delta_{\tilde{c}_2} \cdot x_2^T = (-0.029)[1.5,\ 1.0] = [-0.043,\ -0.029]$ $\frac{\partial \mathcal{L}}{\partial U_o}\bigg|_{t=2} = \delta_{o_2} \cdot x_2^T = (-0.068)[1.5,\ 1.0] = [-0.102,\ -0.068]$

$\frac{\partial \mathcal{L}}{\partial b_f}\bigg|_{t=2} = \delta_{f_2} = -0.001, \quad \frac{\partial \mathcal{L}}{\partial b_i}\bigg|_{t=2} = \delta_{i_2} = -0.022$ $\frac{\partial \mathcal{L}}{\partial b_c}\bigg|_{t=2} = \delta_{\tilde{c}_2} = -0.029, \quad \frac{\partial \mathcal{L}}{\partial b_o}\bigg|_{t=2} = \delta_{o_2} = -0.068$

---

Backward t=1

Total gradient ke $h_1$ (dari $\mathcal{L}_1$ langsung + backprop dari t=2 melalui recurrent connection):

Dari $\mathcal{L}_1$ langsung: $\frac{\partial \mathcal{L}_1}{\partial h_1} = h_1 - \hat{h}_1 = 0.154 - 0.500 = -0.346$

Dari t=2, gradient mengalir balik ke $h_1$ melalui semua gate di t=2 yang bergantung pada $h_1$: $\frac{\partial \mathcal{L}_2}{\partial h_1} = W_f \cdot \delta_{f_2} + W_i \cdot \delta_{i_2} + W_c \cdot \delta_{\tilde{c}_2} + W_o \cdot \delta_{o_2}$ $= (0.5)(-0.001) + (0.3)(-0.022) + (0.5)(-0.029) + (0.3)(-0.068)$ $= -0.000 + (-0.007) + (-0.014) + (-0.020) = -0.042$

Total: $\frac{\partial \mathcal{L}}{\partial h_1} = -0.346 + (-0.042) = -0.388$

Gradient ke gate output $o_1$: $\frac{\partial \mathcal{L}}{\partial o_1} = \frac{\partial \mathcal{L}}{\partial h_1} \cdot \tanh(c_1) = (-0.388)(0.280) = -0.109$ $\delta_{o_1} = (-0.109) \cdot o_1(1-o_1) = (-0.109)(0.550)(0.450) = -0.027$

Gradient ke cell state $c_1$ (dari $h_1$ langsung + dari $c_2 = f_2 \cdot c_1 + \ldots$): $\frac{\partial \mathcal{L}}{\partial c_1}\bigg|_{\text{dari }h_1} = \frac{\partial \mathcal{L}}{\partial h_1} \cdot o_1 \cdot (1-\tanh^2(c_1)) = (-0.388)(0.550)(1-0.280^2) = (-0.388)(0.550)(0.922) = -0.197$

$\frac{\partial \mathcal{L}}{\partial c_1}\bigg|_{\text{dari }c_2} = \frac{\partial \mathcal{L}}{\partial c_2} \cdot f_2 = (-0.122)(0.973) = -0.119$

$\frac{\partial \mathcal{L}}{\partial c_1} = -0.197 + (-0.119) = -0.316$

Gradient ke candidate $\tilde{c}_1$: $\frac{\partial \mathcal{L}}{\partial \tilde{c}_1} = \frac{\partial \mathcal{L}}{\partial c_1} \cdot i_1 = (-0.316)(0.378) = -0.119$ $\delta_{\tilde{c}_1} = (-0.119)(1-0.762^2) = (-0.119)(0.419) = -0.050$

Gradient ke input gate $i_1$: $\frac{\partial \mathcal{L}}{\partial i_1} = \frac{\partial \mathcal{L}}{\partial c_1} \cdot \tilde{c}_1 = (-0.316)(0.762) = -0.240$ $\delta_{i_1} = (-0.240) \cdot i_1(1-i_1) = (-0.240)(0.378)(0.622) = -0.057$

Gradient ke forget gate $f_1$: $\frac{\partial \mathcal{L}}{\partial f_1} = \frac{\partial \mathcal{L}}{\partial c_1} \cdot c_0 = (-0.316)(0) = 0$ $\delta_{f_1} = 0$

Gradient weight dari t=1 (bobot $W$ terhubung ke $h_0 = 0$; semua kontribusi $W = 0$):

$\frac{\partial \mathcal{L}}{\partial W_f}\bigg|_{t=1} = \delta_{f_1} \cdot h_0 = (0)(0) = 0$ $\frac{\partial \mathcal{L}}{\partial W_i}\bigg|_{t=1} = \delta_{i_1} \cdot h_0 = (-0.057)(0) = 0$ $\frac{\partial \mathcal{L}}{\partial W_c}\bigg|_{t=1} = \delta_{\tilde{c}_1} \cdot h_0 = (-0.050)(0) = 0$ $\frac{\partial \mathcal{L}}{\partial W_o}\bigg|_{t=1} = \delta_{o_1} \cdot h_0 = (-0.027)(0) = 0$

$\frac{\partial \mathcal{L}}{\partial U_f}\bigg|_{t=1} = \delta_{f_1} \cdot x_1^T = (0)[0.5,\ 1.2] = [0,\ 0]$ $\frac{\partial \mathcal{L}}{\partial U_i}\bigg|_{t=1} = \delta_{i_1} \cdot x_1^T = (-0.057)[0.5,\ 1.2] = [-0.028,\ -0.068]$ $\frac{\partial \mathcal{L}}{\partial U_c}\bigg|_{t=1} = \delta_{\tilde{c}_1} \cdot x_1^T = (-0.050)[0.5,\ 1.2] = [-0.025,\ -0.060]$ $\frac{\partial \mathcal{L}}{\partial U_o}\bigg|_{t=1} = \delta_{o_1} \cdot x_1^T = (-0.027)[0.5,\ 1.2] = [-0.013,\ -0.032]$

$\frac{\partial \mathcal{L}}{\partial b_f}\bigg|_{t=1} = \delta_{f_1} = 0, \quad \frac{\partial \mathcal{L}}{\partial b_i}\bigg|_{t=1} = \delta_{i_1} = -0.057$ $\frac{\partial \mathcal{L}}{\partial b_c}\bigg|_{t=1} = \delta_{\tilde{c}_1} = -0.050, \quad \frac{\partial \mathcal{L}}{\partial b_o}\bigg|_{t=1} = \delta_{o_1} = -0.027$

---

Total Gradient (akumulasi t=1 dan t=2)

$\frac{\partial \mathcal{L}}{\partial W_f} = 0 + 0.000 = 0.000, \quad \frac{\partial \mathcal{L}}{\partial W_i} = 0 + (-0.003) = -0.003$ $\frac{\partial \mathcal{L}}{\partial W_c} = 0 + (-0.004) = -0.004, \quad \frac{\partial \mathcal{L}}{\partial W_o} = 0 + (-0.010) = -0.010$

$\frac{\partial \mathcal{L}}{\partial U_f} = [0+(-0.001),\ 0+(-0.001)] = [-0.001,\ -0.001]$ $\frac{\partial \mathcal{L}}{\partial U_i} = [(-0.028)+(-0.034),\ (-0.068)+(-0.022)] = [-0.062,\ -0.090]$ $\frac{\partial \mathcal{L}}{\partial U_c} = [(-0.025)+(-0.043),\ (-0.060)+(-0.029)] = [-0.068,\ -0.089]$ $\frac{\partial \mathcal{L}}{\partial U_o} = [(-0.013)+(-0.102),\ (-0.032)+(-0.068)] = [-0.115,\ -0.100]$

$\frac{\partial \mathcal{L}}{\partial b_f} = 0+(-0.001) = -0.001, \quad \frac{\partial \mathcal{L}}{\partial b_i} = (-0.057)+(-0.022) = -0.079$ $\frac{\partial \mathcal{L}}{\partial b_c} = (-0.050)+(-0.029) = -0.079, \quad \frac{\partial \mathcal{L}}{\partial b_o} = (-0.027)+(-0.068) = -0.095$

---

Update Weight ($W_{\text{baru}} = W_{\text{lama}} - \eta \cdot \frac{\partial \mathcal{L}}{\partial W}$, $\eta = 0.5$)

$W_f^{\text{baru}} = 0.5 - (0.5)(0.000) = \mathbf{0.500}$ $W_i^{\text{baru}} = 0.3 - (0.5)(-0.003) = 0.3 + 0.002 = \mathbf{0.302}$ $W_c^{\text{baru}} = 0.5 - (0.5)(-0.004) = 0.5 + 0.002 = \mathbf{0.502}$ $W_o^{\text{baru}} = 0.3 - (0.5)(-0.010) = 0.3 + 0.005 = \mathbf{0.305}$

$U_f^{\text{baru}} = [1,1] - (0.5)[-0.001,-0.001] = [1+0.001,\ 1+0.001] = \mathbf{[1.001,\ 1.001]}$ $U_i^{\text{baru}} = [1,0] - (0.5)[-0.062,-0.090] = [1+0.031,\ 0+0.045] = \mathbf{[1.031,\ 0.045]}$ $U_c^{\text{baru}} = [0,0] - (0.5)[-0.068,-0.089] = [0+0.034,\ 0+0.044] = \mathbf{[0.034,\ 0.044]}$ $U_o^{\text{baru}} = [0,1] - (0.5)[-0.115,-0.100] = [0+0.058,\ 1+0.050] = \mathbf{[0.058,\ 1.050]}$

$b_f^{\text{baru}} = 1 - (0.5)(-0.001) = 1 + 0.001 = \mathbf{1.001}$ $b_i^{\text{baru}} = -1 - (0.5)(-0.079) = -1 + 0.040 = \mathbf{-0.960}$ $b_c^{\text{baru}} = 1 - (0.5)(-0.079) = 1 + 0.040 = \mathbf{1.040}$ $b_o^{\text{baru}} = -1 - (0.5)(-0.095) = -1 + 0.048 = \mathbf{-0.953}$

Ringkasan Matriks Weight Baru:

Gate	$U^{\text{baru}}$	$W^{\text{baru}}$	$b^{\text{baru}}$
$f$	[1.001, 1.001]	0.500	1.001
$i$	[1.031, 0.045]	0.302	-0.960
$\tilde{c}$	[0.034, 0.044]	0.502	1.040
$o$	[0.058, 1.050]	0.305	-0.953

---

Bagian III - Encoder-Decoder & Attention (Nilai 25)

Setup Soal

Soal: Diberikan arsitektur encoder decoder untuk prediksi sekuens 2 elemen deret, encoder menerima input berupa sekuens dengan panjang 3 timestep dari vektor 4 nilai fitur dan menghasilkan hidden vector e1, e2, dan e3. Decoder menerima input context vector untuk menghasilkan sequence 2 timestep yaitu y1 dan y2.

a. [Nilai 5] Tentukanlah jumlah parameter dari model tersebut jika encoder berupa satu layer RNN dengan 2 neuron dan decoder berupa satu layer RNN dengan 2 neuron dan satu layer output Fully Connected 1 neuron.

b. [Nilai 5] Tentukanlah jumlah parameter dari model tersebut jika encoder berupa satu layer LSTM dengan 2 neuron dan decoder berupa satu layer LSTM dengan 2 neuron dan satu layer output Fully Connected 1 neuron.

c. [Nilai 5] Berikanlah formula untuk tahapan inferensi pada decoder dari model soal a. Gunakanlah f sebagai fungsi aktivasi untuk neuron pada hidden layer dan g sebagai fungsi aktivasi untuk neuron pada output layer.

d. [Nilai 5] Tentukanlah jumlah parameter dari model tersebut jika encoder berupa satu layer RNN dengan 2 neuron dan decoder berupa satu layer RNN dengan 2 neuron dan satu layer output Fully Connected 1 neuron, dan dilengkapi dengan satu attention unit.

e. [Nilai 5] Berikanlah formula untuk tahapan inferensi pada decoder dengan satu attention unit dari model soal d; ⍺t menyatakan attention weights pada timestep t. Gunakanlah f sebagai fungsi aktivasi untuk neuron pada hidden layer dan g sebagai fungsi aktivasi untuk neuron pada output layer.

[!abstract] Legenda Notasi (Bagian III)

Simbol	Arti di sini	⚠️ Catatan
$e_1, e_2, e_3$ = $h_j$	hidden state encoder pada timestep $j$	dua notasi untuk hal yang sama: $e_j$ dipakai di setup soal, $h_j$ dipakai di formula attention §3.e - keduanya = output encoder, jangan tertukar dengan alignment score $e_{tj}$ di bawah
$c$ / $c_t$	context vector (ringkasan info encoder utk decoder)	di Bagian II, $c_t$ = cell state LSTM (beda total!)
$s_t$	hidden state decoder	di Bagian IV, $s$ = state lingkungan RL (beda total!)
$U_d, W_d, b_d$	bobot input→hidden, hidden→hidden, bias decoder - input decoder = context vector ($c$ tanpa attention, $c_t$ dengan attention), bobot ini sama persis dipakai di kedua versi (3.c & 3.e)	analog $U, W, b$ Bagian II tapi unit terpisah dari encoder
$V, b_y$	bobot & bias proyeksi hidden decoder $s_t$ → output, dipakai di kedua versi (3.c tanpa attention maupun 3.e dengan attention)	$g$ hanya fungsi dari $s_t$ - attention tidak menambah bobot baru di sini, ia hanya mengubah $c \to c_t$ pada input
$f, g$	fungsi aktivasi hidden layer / output layer decoder	-
$e_{tj}$	alignment score antara $s_{t-1}$ (decoder) dan $h_j$ (encoder)	subscript ganda $tj$ - jangan disamakan dengan $e_j$ (hidden state encoder) di atas!
$\alpha_{tj}$	attention weight = softmax dari $e_{tj}$	di Bagian IV, $\alpha$ = learning rate (beda total - perhatikan konteks!)
$W_a, U_a, v_a$	parameter alignment Bahdanau	beda dari $U_d, W_d$ (decoder) maupun $U, W$ LSTM Bagian II
$n_a$	dimensi hidden layer attention/alignment (hyperparameter desain - tidak diberi soal, diasumsikan $=2$ di §3.d)	jangan disamakan dengan $n$ / $n_{\text{enc}}, n_{\text{dec}}$ (ukuran hidden encoder-decoder) - “satu attention unit” di soal $\neq$ "$n_a=1$"!

---

3.a Jumlah Parameter - Encoder RNN(2) + Decoder RNN(2) + FC(1)

Formula ParameterSimple RNN ($n$ neuron, input $m$ dimensi): $\text{params} = \underbrace{n \times m}_{U: \text{input→hidden}} + \underbrace{n \times n}_{W: \text{hidden→hidden}} + \underbrace{n}_{b} = (m+n+1) \times n$

Dense/FC ($k$ neuron, input $m$ dimensi): $\text{params} = (m+1) \times k$

Encoder RNN: $n=2$ neuron, input $m=4$ fitur $\text{params}_{\text{enc}} = (m+n+1) \times n = (4+2+1) \times 2 = 7 \times 2 = 14$

[!important] Patokan Utama: Teks Soal Eksplisit Soal asli menyatakan: “Decoder menerima input context vector untuk menghasilkan sequence 2 timestep yaitu y1 dan y2.” Ini adalah definisi arsitektur, bukan deskripsi longgar - artinya input decoder = context vector, berdimensi $n_{\text{enc}} = 2$. Semua perhitungan & formula di bawah mengikuti definisi ini secara konsisten.

[!info] Catatan: Konvensi Context Vector Ini Berbeda dari “Standar Buku Teks” Wajar jika konvensi ini terasa janggal - biasanya context vector dipakai untuk menginisialisasi hidden state decoder, bukan jadi input di setiap timestep. Berikut tiga konvensi yang umum dijumpai, supaya jelas di mana posisi soal ini:

• Sutskever et al. (2014) - “standar buku teks/textbook”: context vector $c$ hanya dipakai untuk inisialisasi ($s_0 = c$); input riil decoder di tiap timestep adalah token output sebelumnya $y_{t-1}$ (autoregresif).
• Cho et al. (2014), “RNN Encoder-Decoder”: $c$ ditambahkan sebagai sinyal kondisi di setiap timestep, berdampingan dengan $y_{t-1}$ dan $h_{t-1}$: $h_t = f(h_{t-1},\, y_{t-1},\, c)$.
• Konvensi soal ini (dinyatakan eksplisit di teks soal): versi yang disederhanakan - $c$ diumpankan sebagai satu-satunya input decoder di setiap timestep, $y_{t-1}$ dihilangkan sama sekali. Kemungkinan besar ini dipilih agar dimensi input decoder tetap konstan & bersih untuk keperluan latihan menghitung parameter.

Karena teks soal mendefinisikan arsitekturnya secara eksplisit, kita ikuti definisi soal - bukan konvensi buku teks - demi konsistensi jawaban.

Decoder RNN: $n=2$ neuron, input = context vector $c$ (dari encoder) = dimensi $m=2$ $\text{params}_{\text{dec}} = (m+n+1) \times n = (2+2+1) \times 2 = 5 \times 2 = 10$

FC Output: $k=1$ neuron, input dari hidden decoder $m=2$ $\text{params}_{\text{FC}} = (m+1) \times k = (2+1) \times 1 = 3$

$\boxed{\text{Total} = 14 + 10 + 3 = 27}$

---

Side-by-side: Interpretasi 1 vs Interpretasi 2 untuk 3.a (kenapa bisa 25 vs 27?)

[!question] Sumber Perbedaannya Cuma Satu: Apa “Input Decoder” Itu? Semua perbedaan angka (25 / 27 / 29) berakar dari satu pertanyaan: apa yang sebetulnya diumpankan ke decoder RNN di tiap timestep, dan berapa dimensinya ($m$)? Begitu $m$ ditentukan, sisanya tinggal substitusi ke $\text{params}_{\text{dec}} = (m+n+1)\times n$. Dua pembacaan yang paling sering muncul:

Interpretasi 1 - Context Vector Hanya untuk Inisialisasi (→ 25)

Asumsi arsitektur (gaya Sutskever et al., 2014 - “textbook standard”): $c=e_3$ hanya dipakai untuk menginisialisasi hidden state decoder ($s_0 = c$), lalu “dibuang”. Input riil yang diumpankan ke decoder di setiap timestep adalah prediksi token sebelumnya $y_{t-1} \in \mathbb{R}^1$ (autoregresif/AR) - berdimensi 1 karena FC output cuma 1 neuron.

Encoder RNN (sama seperti sebelumnya): $\text{params}_{\text{enc}} = (4+2+1)\times 2 = \mathbf{14}$

Decoder RNN: $n=2$ neuron, input $= y_{t-1}$, dimensi $m = \mathbf{1}$ (bukan $c$!) $\text{params}_{\text{dec}} = (m+n+1)\times n = (1+2+1)\times 2 = 4\times 2 = \mathbf{8}$

FC Output (sama seperti sebelumnya): $\text{params}_{\text{FC}} = (2+1)\times 1 = \mathbf{3}$

$\boxed{\text{Total}_{\text{interp.1}} = 14 + 8 + 3 = \mathbf{25}}$

Syarat Tersembunyi di Interpretasi Ini Supaya $s_0 = c$ valid, dimensi $c$ harus sama dengan $n_{\text{dec}}$ - di soal ini kebetulan $n_{\text{enc}} = n_{\text{dec}} = 2$, jadi syaratnya otomatis terpenuhi tanpa perlu matriks proyeksi tambahan. Ini bukan bukti bahwa interpretasi ini “benar”, hanya kebetulan numerik yang membuatnya tetap valid untuk dihitung.

Interpretasi 2 - Context Vector Jadi Input Eksplisit Tiap Timestep, Tanpa AR (→ 27)

Asumsi arsitektur (gaya Cho et al., 2014, disederhanakan - ini yang dipakai sebagai jawaban utama di atas): $c$ bukan sekadar inisialisasi, melainkan diumpankan langsung sebagai input decoder di setiap timestep ($U_d \cdot c$ pada formula $s_t$); $y_{t-1}$ tidak dipakai sama sekali (tanpa AR/teacher forcing) - persis seperti yang dinyatakan literal di teks soal: “decoder menerima input context vector”. Karena itu $s_0$ diinisialisasi $\vec 0$ (bukan $c$ - kalau $s_0=c$ juga, $c$ “masuk dua kali”).

Diagramnya sudah ditampilkan di awal §3.a (lihat gambar di atas) - input decoder $= c$, dimensi $m = \mathbf{2}$: $\text{params}_{\text{dec}} = (2+2+1)\times 2 = \mathbf{10} \quad\Rightarrow\quad \boxed{\text{Total}_{\text{interp.2}} = 14 + 10 + 3 = \mathbf{27}}$

Kenapa Catatan Ini Memilih Interpretasi 2 Dua alasan, sekaligus argumen kenapa Interpretasi 1 - walau valid sebagai pembacaan independen untuk 3.a - jadi sulit dipertahankan begitu dipasangkan dengan 3.d–3.e:

1. Kecocokan literal dengan teks soal: kalimat “decoder menerima input context vector” paling natural dibaca sebagai ”$c$ = input decoder”, bukan ”$c$ = nilai inisialisasi”. Kalau yang dimaksud inisialisasi, kalimat yang lebih wajar adalah “decoder diinisialisasi dengan context vector”.
2. Konsistensi struktural dengan 3.d/3.e: attention butuh “slot” input yang menerima context vector dinamis $c_t$ di tiap timestep (itulah esensi attention - $c$ berubah-ubah, bukan dihitung sekali lalu dibuang). Interpretasi 2 sudah menyediakan slot ini sejak 3.a, sehingga 3.d tinggal “mengganti isi slot” ($c \to c_t$) tanpa mengubah struktur ataupun bobot $U_d$ - persis seperti framing soal “model dari soal a … dilengkapi attention”. Interpretasi 1 tidak punya slot semacam itu (karena $c$ “dibuang” setelah inisialisasi), sehingga 3.d terpaksa membangun jalur input baru yang tidak ada di 3.a - itu sudah mengubah arsitektur decoder, bukan sekadar “menambah attention unit”.

---

3.b Jumlah Parameter - Encoder LSTM(2) + Decoder LSTM(2) + FC(1)

Formula Parameter LSTMLSTM ($n$ neuron, input $m$ dimensi): terdapat 4 gate, masing-masing punya set weight sendiri: $\text{params} = (m+n+1) \times 4n$

Encoder LSTM: $n=2$ neuron, input $m=4$ fitur $\text{params}_{\text{enc}} = (m+n+1) \times 4n = (4+2+1) \times 4 \times 2 = 7 \times 8 = 56$

Decoder LSTM: $n=2$ neuron, input = context vector $c$ = dimensi $m=2$ (konsisten dengan 3.a) $\text{params}_{\text{dec}} = (m+n+1) \times 4n = (2+2+1) \times 4 \times 2 = 5 \times 8 = 40$

FC Output: $k=1$ neuron, input $m=2$ $\text{params}_{\text{FC}} = (2+1) \times 1 = 3$

$\boxed{\text{Total} = 56 + 40 + 3 = 99}$

---

3.c Formula Inferensi Decoder (RNN, tanpa Attention)

Konteks: Sesuai definisi di soal, context vector $c = e_3$ (hidden state terakhir encoder) menjadi input decoder yang diumpankan di setiap timestep (bukan $y_{t-1}$ - soal eksplisit bilang “decoder menerima input context vector”, dan ini juga konsisten dengan dimensi $m=2$ yang dipakai pada perhitungan parameter 3.a/3.b).

Inisialisasi: $s_0 = \vec{0}$

$s_0=\vec{0}$ vs $s_0=c$ - bukan “dua pilihan bebas”, tapi dua arsitektur berbeda! Versi sebelumnya catatan ini menulis ”$s_0=\vec{0}$ (atau dapat pula $s_0=c$, sesuai konvensi)” - kalimat itu menyesatkan karena terdengar seolah $s_0$ boleh diisi salah satu dari dua nilai secara bebas/tertukar dalam arsitektur yang sama. Padahal keduanya adalah dua desain seq2seq yang berbeda dan tidak bisa dicampur:

	Konvensi soal ini (dipakai di §3.c–3.e)	Konvensi Sutskever et al. (2014)
Peran $c$	input decoder di setiap timestep ($U_d \cdot c$ dalam formula $s_t$)	hanya untuk inisialisasi, lalu dibuang
Inisialisasi $s_0$	$\vec{0}$ - netral, karena $c$ toh sudah masuk lewat $U_d \cdot c$ pada $t=1$; mengisi $s_0=c$ di sini berarti $c$ “masuk dua kali” (redundan, dan tidak konsisten dengan dimensi $m=2$ yang dipakai pada hitungan parameter §3.a/3.b)	$s_0 = c$ - di sinilah $c$ satu-satunya cara info encoder masuk ke decoder
Input riil tiap timestep	$c$ (konstan/dinamis $c_t$ tergantung dengan/tanpa attention)	token output sebelumnya $y_{t-1}$ (autoregresif) - lihat baris 698 di atas

Jadi untuk soal ini, jawabannya hanya $s_0=\vec{0}$ - bukan “boleh pilih salah satu”. $s_0=c$ disebut semata sebagai perbandingan supaya kamu tidak bingung kalau menjumpai konvensi itu di soal/sumber lain (mis. Kuis 2 yang memakai gaya Sutskever). Jangan menulis kedua opsi itu sebagai jawaban yang setara di lembar ujian - pilih satu yang konsisten dengan definisi arsitektur yang diberikan soal, dan di sini definisinya eksplisit menyebut “decoder menerima input context vector” $\Rightarrow$ konvensi kolom kiri $\Rightarrow$ $s_0=\vec{0}$.

Timestep $t=1$: $s_1 = f(U_d \cdot c + W_d \cdot s_0 + b_d)$ $y_1 = g(V \cdot s_1 + b_y)$

Timestep $t=2$: $s_2 = f(U_d \cdot c + W_d \cdot s_1 + b_d)$ $y_2 = g(V \cdot s_2 + b_y)$

Formula umum untuk timestep $t$:

$\boxed{s_t = f(U_d \cdot c + W_d \cdot s_{t-1} + b_d)}$ $\boxed{y_t = g(V \cdot s_t + b_y)}$

dimana $f$ = fungsi aktivasi hidden layer decoder, $g$ = fungsi aktivasi output layer, dan $c$ = context vector (konstan, sama di semua timestep - ini yang membedakannya dari versi attention di 3.e di mana context vector berubah tiap timestep).

---

3.d Jumlah Parameter - Encoder RNN(2) + Decoder RNN(2) + FC(1) + 1 Attention Unit

Kenapa Tinggal Tambah, Bukan Rombak Ulang? Karena slot input decoder sudah berupa context vector (dim 2) sejak versi tanpa-attention (3.a), menambahkan attention tidak mengubah struktur decoder maupun FC - ia hanya mengganti context vector yang tadinya konstan ($c$) menjadi dinamis ($c_t$, dihitung ulang tiap timestep). Dimensinya tetap sama (2), jadi memakai matriks $U_d$ yang sama persis, tidak perlu bobot baru. Yang benar-benar baru hanyalah alignment network yang menghitung $c_t$.

Dari soal a: Total parameter (tanpa attention) $= 27$

Parameter Attention Unit (Bahdanau-style):

$e_{tj} = \text{align}(s_{t-1}, h_j) = v_a^\top \tanh(W_a s_{t-1} + U_a h_j)$

[!question] Apa itu $n_a$, dan kenapa $=2$? $n_a$ = dimensi hidden layer attention/alignment network - banyak neuron pada lapisan tersembunyi yang menampung representasi gabungan $\tanh(W_a s_{t-1} + U_a h_j) \in \mathbb{R}^{n_a}$, sebelum diproyeksikan oleh $v_a$ menjadi skalar alignment score $e_{tj} \in \mathbb{R}$. Persis seperti $n$ menentukan ukuran hidden state RNN/LSTM, $n_a$ menentukan “lebar” jaringan attention - murni hyperparameter desain, bukan sesuatu yang bisa diturunkan dari $m, n$, atau $k$.

Jujur saja: soal TIDAK memberikan nilai $n_a$, dan tidak ada cara untuk “menurunkannya” dari $m$, $n$, atau $k$ yang sudah diketahui - beda dengan $n_{\text{enc}}, n_{\text{dec}}$ yang eksplisit disebut (“RNN dengan 2 neuron”). Ini murni celah informasi di soal, jadi alasan di balik angka manapun yang dipilih hanyalah konvensi/asumsi, bukan fakta matematis yang bisa dibuktikan. Dua pembacaan yang sama-sama masuk akal:

Pembacaan	$n_a$	$\text{params}_{\text{attn}} = n_a(n_{\text{enc}}+n_{\text{dec}}+1)$	Total
”Satu attention unit” dibaca harfiah = lapisan attention berisi 1 neuron (mengikuti pola “RNN dengan 2 neuron”, “FC 1 neuron” di soal yang sama persis)	$1$	$1 \times 5 = 5$	$27+5=\mathbf{32}$
$n_a$ disamakan dengan $n_{\text{enc}}=n_{\text{dec}}=2$ - konvensi umum ketika ukuran attention tak disebutkan eksplisit, supaya ketiga ruang vektor selaras	$2$	$2 \times 5 = 10$	$27+10=\mathbf{37}$

Catatan ini memilih $n_a=2$ (baris kedua) dengan pertimbangan: kata “unit” - bukan “neuron” seperti di kalimat-kalimat lain pada soal yang sama - kemungkinan besar merujuk ke modul/mekanisme attention secara keseluruhan (istilah umum “attention unit/attention layer” di literatur), bukan spesifikasi lebar layer-nya. Tapi ini tetap dugaan berbasis konteks linguistik, bukan kepastian matematis - baris pertama ($n_a=1$) sama validnya kalau dibaca harfiah. Yang sebenarnya lebih menentukan nilai ujian: tuliskan asumsimu secara eksplisit (“karena soal tidak menyebutkan $n_a$, saya asumsikan $n_a=\dots$ karena $\dots$”) lalu substitusi ke formula umum - itulah yang biasanya dinilai pemeriksa, bukan kecocokan angka semata.

Setiap matriks memetakan vektor input ke ruang attention berdimensi $n_a$:

• $W_a \in \mathbb{R}^{\,n_a \times n_{\text{dec}}}$: bobot untuk $s_{t-1}$ (decoder, dim $n_{\text{dec}}=2$) $\;\to\; n_a \times n_{\text{dec}} = 2 \times 2 = \mathbf{4}$ parameter
• $U_a \in \mathbb{R}^{\,n_a \times n_{\text{enc}}}$: bobot untuk $h_j$ (encoder, dim $n_{\text{enc}}=2$) $\;\to\; n_a \times n_{\text{enc}} = 2 \times 2 = \mathbf{4}$ parameter
• $v_a \in \mathbb{R}^{\,n_a}$: vektor proyeksi $\tanh(\cdot)\in\mathbb{R}^{n_a} \to$ skalar $e_{tj}$ $\;\to\; n_a = \mathbf{2}$ parameter
• (catatan: formula $\text{align}$ di soal tidak menyertakan bias $b_a$. Sebagian varian Bahdanau menambahkan $\tanh(W_a s_{t-1} + U_a h_j + b_a)$, yang akan menyumbang $+\,n_a$ parameter ekstra - tapi karena formula yang diberikan tidak memuatnya, kita ikuti apa adanya dan tidak menambah $b_a$.)

Formula umum (agar terlihat jelas bagaimana tiap suku bergantung pada $n_a$): $\text{params}_{\text{attention}} = \underbrace{n_a \cdot n_{\text{dec}}}_{W_a} \;+\; \underbrace{n_a \cdot n_{\text{enc}}}_{U_a} \;+\; \underbrace{n_a}_{v_a} \;=\; n_a\,(n_{\text{dec}} + n_{\text{enc}} + 1)$

Substitusi $n_a = n_{\text{dec}} = n_{\text{enc}} = 2$: $\text{params}_{\text{attention}} = 2 \times (2 + 2 + 1) = 2 \times 5 = \mathbf{10}$

$\boxed{\text{Total} = 27 + 10 = 37}$

---

3.e Formula Inferensi Decoder dengan Attention ($\alpha_t$)

Dengan attention, context vector berbeda di setiap timestep decoder ($c_t$, bukan $c$ tunggal yang konstan seperti di 3.c) - namun ia tetap menempati slot input yang sama pada decoder cell (dimensi sama, bobot $U_d$ sama).

Hitung alignment score antara $s_{t-1}$ dan setiap hidden encoder $h_j$ ($j=1,2,3$): $e_{tj} = \text{align}(s_{t-1}, h_j)$

Hitung attention weights via softmax: $\alpha_{tj} = \frac{\exp(e_{tj})}{\sum_{k=1}^{3} \exp(e_{tk})}$

Hitung context vector pada timestep $t$: $c_t = \sum_{j=1}^{3} \alpha_{tj} \cdot h_j$

Formula decoder dengan attention (cukup ganti $c \to c_t$ dari formula 3.c - tidak ada bobot baru di decoder/FC):

$\boxed{s_t = f(U_d \cdot c_t + W_d \cdot s_{t-1} + b_d)}$ $\boxed{y_t = g(V \cdot s_t + b_y)}$

Lengkap untuk $t=1$ dan $t=2$:

Timestep t=1: $e_{1j} = \text{align}(s_0, h_j), \quad j \in \{1,2,3\}$ $\alpha_{1j} = \frac{\exp(e_{1j})}{\sum_{k=1}^{3}\exp(e_{1k})}, \quad \sum_j \alpha_{1j} = 1$ $c_1 = \alpha_{11} h_1 + \alpha_{12} h_2 + \alpha_{13} h_3$ $s_1 = f(U_d \cdot c_1 + W_d \cdot s_0 + b_d)$ $y_1 = g(V \cdot s_1 + b_y)$

Timestep t=2: $e_{2j} = \text{align}(s_1, h_j), \quad j \in \{1,2,3\}$ $\alpha_{2j} = \frac{\exp(e_{2j})}{\sum_{k=1}^{3}\exp(e_{2k})}$ $c_2 = \alpha_{21} h_1 + \alpha_{22} h_2 + \alpha_{23} h_3$ $s_2 = f(U_d \cdot c_2 + W_d \cdot s_1 + b_d)$ $y_2 = g(V \cdot s_2 + b_y)$

---

Bagian IV - Reinforcement Learning (Nilai 25)

4.1 Tabel Perbandingan Supervised Learning vs Reinforcement Learning (Nilai 6)

Soal: Lengkapi tabel berikut ini, yang membandingkan antara supervised learning dan reinforcement learning. Jawaban yang dituliskan di luar tabel tidak dinilai. (Nilai 6)

Pilihan yang diberikan pada tiap baris tabel soal:

• Informasi yang diperlukan oleh agen pembelajar - pilih: pasangan aksi yang harus dilakukan dan kondisi tertentu / informasi reward
• Hasil observasi yang dipelajari berupa data sekuensial - pilih: Ya / Tidak / Belum Tentu
• Apakah yang dipelajari oleh agen? - jawab dengan singkat

Aspek	Supervised Learning	Reinforcement Learning
Informasi yang diperlukan oleh agen	Pasangan aksi yang harus dilakukan dan kondisi tertentu (labeled input-output pairs)	Informasi reward (sinyal reward dari lingkungan setelah tiap aksi)
Hasil observasi berupa data sekuensial	Belum Tentu (bisa i.i.d. seperti klasifikasi gambar, bisa sekuensial seperti time series)	Ya (agen berinteraksi dengan lingkungan secara sekuensial: state→action→reward→new state)
Apakah yang dipelajari oleh agen?	Fungsi pemetaan dari input ke output (mapping $f: X \to Y$)	Policy (kebijakan) terbaik - yaitu aksi mana yang harus diambil pada setiap state agar cumulative reward maksimal

---

4.2 Wumpus World - TD Q-Learning (Nilai 19)

Soal: Terdapat persoalan “Wumpus World” sebagai berikut. Setiap ruang memiliki koordinat posisi; misal dalam gambar agen di ruang (1,1); wumpus di ruang (3,1), gold berada di ruang (3,2); salah satu ruang berisi pit adalah ruang (1,3).

Agen diharapkan dapat mencapai ruang berisi gold dan tidak masuk ke dalam ruang berisi pit ataupun wumpus, dengan Reinforcement Learning (RL). Aksi agen hanyalah N (North), E (East), S (South), atau W (West). Informasi yang bisa diterima agen dari lingkungan hanyalah reward dan posisi ruang. Reward melakukan aksi pada suatu state untuk mencapai state lain adalah 0 (nol), kecuali aksi yang membuat agen berada di terminal-state. Ruang berisi wumpus, pit, dan gold adalah terminal-state. Reward menuju ruang berisi gold dari ruang yang bertetangga (selain terminal-state) adalah +10. Reward menuju ruang berisi wumpus atau pit dari ruang yang bertetangga (selain terminal-state) adalah -10. Setelah agen melakukan percobaan pemilihan aksi tiga episode sebagai berikut, tentukan aksi terbaik yang bisa dilakukan pada suatu ruang (selain terminal-state) berdasarkan nilai Q(s,a) hasil update terakhir dengan Temporal Difference Q-Learning. Inisialisasi semua nilai Q(s,a) dengan nilai nol (0). Nilai step (learning rate) 0.4 dan discount factor adalah 0.6.

Episode:

• I: $(1,1) \to (2,1) \to (3,1)$
• II: $(1,1) \to (1,2) \to (2,2) \to (3,2)$
• III: $(1,1) \to (1,2) \to (1,3)$

a. [Nilai 12] Tuliskan ‘update’ nilai Q(s,a) dengan rinci sesuai episode yang dituliskan.

b. [Nilai 3] Gambarkan grid dengan nilai update Q(s,a) untuk setiap satu episode.

c. [Nilai 4] Gambarkan aksi terbaik di setiap ruang selain terminal-state berdasarkan nilai Q(s,a) terakhir.

Setup Grid (dari gambar soal)

Berdasarkan gambar soal (grid 4×4, koordinat $(x,y)$ dengan $x$ = kolom, $y$ = baris):

y=4 | Stench  |                       | Breeze | PIT    |
y=3 | WUMPUS  | Breeze, Stench, GOLD  | PIT    | Breeze |
y=2 | Stench  |                       | Breeze |        |
y=1 | START   | Breeze                | PIT    | Breeze |
      x=1            x=2                x=3      x=4

Notasi Koordinat pada Soal Soal menulis posisi ruang sebagai $(a,b) = (\text{baris}, \text{kolom})$, dihitung mulai dari $(1,1)$ di pojok kiri-bawah (tempat agen start) - bukan $(x,y) = (\text{kolom}, \text{baris})$ seperti pada grid di atas. Dengan notasi soal ini, posisi-posisi pada gambar konsisten dengan teks soal:

• Wumpus = baris 3 kolom 1 → ditulis soal sebagai $(3,1)$ → pada grid $(x,y)$ di atas = $(x{=}1, y{=}3)$
• Gold = baris 3 kolom 2 → ditulis soal sebagai $(3,2)$ → pada grid $(x,y)$ = $(x{=}2, y{=}3)$ - sel yang sama juga memuat Breeze & Stench, sesuai gambar
• Pit = baris 1 kolom 3 → ditulis soal sebagai $(1,3)$ → pada grid $(x,y)$ = $(x{=}3, y{=}1)$ (dua pit lain yang terlihat pada gambar berada di $(x{=}3,y{=}3)$ dan $(x{=}4,y{=}4)$)

Karena episode pada soal juga memakai notasi $(\text{baris}, \text{kolom})$ yang sama, semua state akhir episode di bawah ini cocok dengan jenis terminal-nya tanpa konversi tambahan.

Terminal states (notasi soal, baris-kolom): Wumpus di (3,1), Gold di (3,2), Pit di (1,3), (3,3), dan (4,4).

Reward:

• Transisi normal (non-terminal): $R = 0$
• Menuju Gold: $R = +10$
• Menuju Wumpus atau Pit: $R = -10$
• State terminal: Q-value = 0

Parameter: $\alpha = 0.4$, $\gamma = 0.6$, inisialisasi semua $Q(s,a) = 0$

Formula Q-Learning (off-policy TD):

$Q(s, a) \leftarrow Q(s, a) + \alpha \Big[R + \gamma \max_{a'} Q(s', a') - Q(s, a)\Big]$

[!abstract] Legenda Notasi (Bagian IV)

Simbol	Arti di sini	⚠️ Beda makna di bagian lain
$\alpha$	learning rate	di Bagian III, $\alpha_{tj}$ = attention weight (beda total - bukan kebetulan namanya sama, tapi konsepnya beda!)
$\gamma$	discount factor	sama persis dengan $\gamma$ pada formula Return di catatan ML Last Term
$R$	reward sesaat dari transisi $s \to s'$	-
$Q(s,a)$	action-value function (estimasi cumulative reward)	-
$s, a, s'$	state sekarang, aksi, state berikutnya	$s$ di Bagian III = hidden state decoder (beda total!)

---

(i) Update Nilai Q(s,a) per Episode

Episode I: $(1,1) \to (2,1) \to (3,1)$

Step 1: $(1,1) \xrightarrow{E} (2,1)$, $s=(1,1)$, $a=E$, $s'=(2,1)$

$R = 0$ (transisi normal), $\max_{a'} Q((2,1), a') = \max\{0,0,0,0\} = 0$

$Q((1,1), E) \leftarrow Q((1,1), E) + \alpha\left[R + \gamma \max_{a'} Q((2,1), a') - Q((1,1), E)\right]$ $= 0 + 0.4\left[0 + 0.6 \cdot 0 - 0\right] = 0 + 0.4(0) = \mathbf{0}$

Step 2: $(2,1) \xrightarrow{E} (3,1)$, $s=(2,1)$, $a=E$, $s'=(3,1)$ [Terminal: Wumpus]

$R = -10$, $\max_{a'} Q((3,1), a') = 0$ (terminal state)

$Q((2,1), E) \leftarrow 0 + 0.4\left[-10 + 0.6 \cdot 0 - 0\right]$ $= 0 + 0.4 \cdot (-10) = \mathbf{-4}$

---

Episode II: $(1,1) \to (1,2) \to (2,2) \to (3,2)$

Step 1: $(1,1) \xrightarrow{N} (1,2)$, $s=(1,1)$, $a=N$, $s'=(1,2)$

$R = 0$, $\max_{a'} Q((1,2), a') = \max\{0,0,0,0\} = 0$

$Q((1,1), N) \leftarrow 0 + 0.4\left[0 + 0.6 \cdot 0 - 0\right] = \mathbf{0}$

Step 2: $(1,2) \xrightarrow{E} (2,2)$, $s=(1,2)$, $a=E$, $s'=(2,2)$

$R = 0$, $\max_{a'} Q((2,2), a') = \max\{0,0,0,0\} = 0$

$Q((1,2), E) \leftarrow 0 + 0.4\left[0 + 0.6 \cdot 0 - 0\right] = \mathbf{0}$

Step 3: $(2,2) \xrightarrow{E} (3,2)$, $s=(2,2)$, $a=E$, $s'=(3,2)$ [Terminal: Gold]

$R = +10$, $\max_{a'} Q((3,2), a') = 0$ (terminal state)

$Q((2,2), E) \leftarrow 0 + 0.4\left[10 + 0.6 \cdot 0 - 0\right]$ $= 0 + 0.4 \cdot 10 = \mathbf{+4}$

---

Episode III: $(1,1) \to (1,2) \to (1,3)$

Step 1: $(1,1) \xrightarrow{N} (1,2)$, $s=(1,1)$, $a=N$, $s'=(1,2)$

$R = 0$, $\max_{a'} Q((1,2), a') = \max\{Q(N), Q(E), Q(S), Q(W)\} = \max\{0, 0, 0, 0\} = 0$

$Q((1,1), N) \leftarrow 0 + 0.4\left[0 + 0.6 \cdot 0 - 0\right] = \mathbf{0}$

Step 2: $(1,2) \xrightarrow{N} (1,3)$, $s=(1,2)$, $a=N$, $s'=(1,3)$ [Terminal: Pit]

$R = -10$, $\max_{a'} Q((1,3), a') = 0$ (terminal state)

$Q((1,2), N) \leftarrow 0 + 0.4\left[-10 + 0.6 \cdot 0 - 0\right]$ $= 0 + 0.4 \cdot (-10) = \mathbf{-4}$

---

Ringkasan Semua Update:

Episode	Step	Transisi	R	Q sebelum	Q sesudah
I	1	$(1,1) \xrightarrow{E} (2,1)$	0	0	0
I	2	$(2,1) \xrightarrow{E} (3,1)$★	-10	0	-4
II	1	$(1,1) \xrightarrow{N} (1,2)$	0	0	0
II	2	$(1,2) \xrightarrow{E} (2,2)$	0	0	0
II	3	$(2,2) \xrightarrow{E} (3,2)$★	+10	0	+4
III	1	$(1,1) \xrightarrow{N} (1,2)$	0	0	0
III	2	$(1,2) \xrightarrow{N} (1,3)$★	-10	0	-4

★ = masuk ke terminal state

---

(ii) Grid dengan Nilai Q(s,a) setiap Episode

Pemetaan State Soal → Grid $(x,y)$ State $(a,b)$ pada soal (baris, kolom) terletak di sel grid $(x{=}b,\ y{=}a)$. Jadi $Q((2,1),\cdot) \to (x{=}1,y{=}2)$, $Q((1,2),\cdot) \to (x{=}2,y{=}1)$, $Q((2,2),\cdot) \to (x{=}2,y{=}2)$ - semuanya berdekatan dengan START di $(x{=}1,y{=}1)$, sesuai jalur eksplorasi tiga episode.

Tiga episode di atas hanya menghasilkan tiga nilai $Q(s,a)$ non-nol secara kumulatif - masing-masing satu panah baru per episode (lihat panah merah di bawah; panah abu-abu = update episode sebelumnya yang sudah “menempel”). Catatan: di grid $(x,y)$, aksi soal $E$ ($a{+}1$) bergerak ke arah $+y$, dan aksi soal $N$ ($b{+}1$) bergerak ke arah $+x$ - bukan kompas baku, melainkan mengikuti orientasi sumbu pada gambar grid.

• Setelah Episode I: $Q((2,1),E) = -4$ → grid $(x{=}1,y{=}2)\xrightarrow{E}(x{=}1,y{=}3)$ [Wumpus]
• Setelah Episode II: tambahan $Q((2,2),E) = +4$ → grid $(x{=}2,y{=}2)\xrightarrow{E}(x{=}2,y{=}3)$ [Gold]
• Setelah Episode III: tambahan $Q((1,2),N) = -4$ → grid $(x{=}2,y{=}1)\xrightarrow{N}(x{=}3,y{=}1)$ [Pit]

---

(iii) Aksi Terbaik di Setiap State (Non-Terminal)

Aksi terbaik = $\arg\max_a Q(s, a)$.

Tabel nilai Q final (hanya yang non-nol):

State	Q(N)	Q(E)	Q(S)	Q(W)	Aksi Terbaik
(1,1)	0	0	0	0	Tie - semua 0
(2,1)	0	-4	0	0	N, S, atau W (hindari E→Wumpus)
(1,2)	-4	0	0	0	E, S, atau W (hindari N→Pit)
(2,2)	0	+4	0	0	E → menuju Gold ✅
(1,4)	0	0	0	0	Tie - belum dijelajahi
(2,3)	0	0	0	0	Tie - belum dijelajahi
…	0	0	0	0	Tie - belum dijelajahi

Grid aksi terbaik (→ = E, ↑ = N, ↓ = S, ← = W):

     x=1         x=2         x=3       x=4
y=4 | ?          | ?          | ?        | [PIT]    |
y=3 | [WUMPUS]   | [GOLD]     | [PIT]    | ?        |
y=2 | ↑/↓/←      | →          | ?        | ?        |
y=1 | ?          | →/↓/←      | [PIT]    | ?        |

Interpretasi Setelah 3 episode, Q-learning baru belajar dari 3 jalur yang dieksplor. State yang belum dikunjungi (semua Q=0) belum memiliki preferensi aksi. Hanya 3 state yang mendapat update bermakna:

• (2,1): Hindari E (menuju Wumpus, Q=-4)
• (1,2): Hindari N (menuju Pit, Q=-4); E adalah arah menuju (2,2) yang dari sana bisa ke Gold
• (2,2): E adalah aksi terbaik jelas (Q=+4), menuju Gold

---

Referensi

• Slide IF3270 - RNN 1 (Parameter counting, Forward Propagation)
• Slide IF3270 - RNN 2 (BPTT, Encoder-Decoder)
• Slide IF3270 - Attention dan Transformer (Encoder-Decoder with Attention, Bahdanau)
• Slide IF3270 - Reinforcement Learning (Q-Learning, TD Learning)
• Hochreiter & Schmidhuber (1997) - Long Short-Term Memory
• Bahdanau et al. (2014) - Neural Machine Translation by Jointly Learning to Align and Translate
• Sutton & Barto (2018) - Reinforcement Learning: An Introduction, Ch. 6