SOP — Ad-Level A/B Testing

✅ Metode & cadence dikunci (Anton, 2026-07-11). Uji satu variabel per tes; window minimum 3–7 hari atau sampai data cukup (jangan simpulkan dari data 1 hari); metrik penentu per tujuan (uji awareness/kreatif → CTR; uji konversi/bid → ROAS/CVR); pemenang = varian yang unggul konsisten sepanjang window, bukan lonjakan sesaat. Dijalankan saat ada hipotesis layak, dievaluasi di cadence analisa 2–3 hari.

Tujuan: Menemukan kombinasi iklan yang lebih efisien lewat uji terkontrol pada level iklan (kreatif / audiens / bid), dengan hasil yang tercatat rapi sehingga bisa direplikasi dan diakumulasi jadi pembelajaran tim. Pemicu / Cadence: Saat ada hipotesis layak uji; window per tes 3–7 hari; evaluasi di cadence analisa 2–3 hari. Pemilik (posisi) / Backup: #role/da / Superoperator (Kiki).

Input

• Data performa iklan terkini (SOP_Analisa_Performa_Iklan) sebagai sumber hipotesis.
• Akses pengaturan iklan per marketplace via Marketplace_Ad_Managers.

Langkah

1. Rumuskan hipotesis spesifik (mis. “kreatif B menaikkan CTR vs A”).
2. Rancang uji satu variabel per uji (kreatif atau audiens atau bid); jaga variabel lain tetap.
3. Jalankan varian A vs B pada kondisi setara; window minimum 3–7 hari atau sampai data cukup (jangan menyimpulkan dari 1 hari data).
4. Catat: hipotesis, variabel yang diuji, durasi, metrik penentu (CTR untuk uji kreatif/awareness; ROAS/CVR untuk uji konversi/bid), dan hasil.
5. Pemenang = varian yang unggul konsisten sepanjang window (bukan lonjakan sesaat); terapkan pemenang, arsipkan pembelajaran.

Tools yang dipakai

• Marketplace_Ad_Managers — setup & jalankan varian iklan.
• Analisa_Sheet — catatan hipotesis, variabel, durasi, hasil (log eksperimen).

Knowledge yang diasumsikan

• KPI_Definitions — arah uji = menaikkan efisiensi iklan (ROAS/ACOS).
• Metodologi_SOP_dan_KPI — disiplin satu-variabel & pencatatan agar hasil valid.

Worksheet yang diisi

• Analisa_Sheet — log A/B (hipotesis · variabel · durasi · hasil · keputusan).

Template yang digunakan

• [[A_B_Test_Log]] — template log uji. [template DA — dibangun di fase Templates (2c)]

Output / Definisi Selesai (DoD)

• Setiap uji punya catatan lengkap (hipotesis→hasil→keputusan) dan pemenang diterapkan atau ditolak dengan alasan.

Eskalasi

• Uji berdampak anggaran besar / lintas platform → Kiki → Anton sebelum jalan.

Troubleshooting

• Dua variabel berubah sekaligus → hasil tidak valid; ulang dengan satu variabel.
• Sampel/durasi kurang → tandai “belum konklusif” ketimbang menyimpulkan prematur.

Related

_DA_Hub · SOP_Analisa_Performa_Iklan · SOP_Optimasi_Produk · Metodologi_SOP_dan_KPI · _Conventions