Spesifikasi Berubah Saat Software Jadi Probabilistik

Membangun produk AI sering kali dimulai dengan ilusi yang nyaman: menulis dokumen spesifikasi seperti yang biasa kita lakukan. Kita membuat daftar cerita pengguna (user stories). Kita menentukan kriteria penerimaan. Kita berasumsi bahwa jika tim engineering membangun persis seperti yang kita tulis, sistem akan berperilaku persis seperti yang kita harapkan.

Namun, AI beroperasi dalam lingkungan probabilistik. Sistem berbasis visi mungkin dengan sempurna mengenali seseorang yang sedang berjalan, tetapi sepenuhnya gagal mengenali pejalan kaki yang menggunakan kursi roda atau mengenakan mantel musim dingin yang tebal. Spesifikasi deterministik tradisional gagal di sini karena tidak dapat menangkap variasi dunia nyata yang tak terbatas dan intuitif. Kita tidak lagi membangun sistem di mana jalur logika mendikte hasil; kita membangun sistem di mana pola data yang kompleks mendikte perilaku. Aturan spesifikasinya kini berbeda.

Poin Penting

• Rekayasa kebutuhan (requirements engineering) tradisional bergantung pada verifikasi statis, yang gagal untuk model AI probabilistik karena perilakunya berasal dari pola data yang kompleks.
• Tanpa spesifikasi formal yang dinamis, evaluasi perilaku AI hanya bergantung pada intuisi manusia yang subjektif atau asumsi yang keliru tentang volume data.
• Sebuah studi tahun 2025 dari Northern Illinois University mendemonstrasikan kerangka kerja yang menerjemahkan ontologi semantik ke dalam kumpulan data visual untuk mengevaluasi persepsi aktual AI.
• Tim produk harus bergeser dari mendefinisikan apa yang dilakukan perangkat lunak menjadi mendefinisikan bagaimana perangkat lunak mempersepsikan sesuatu, dan terus memetakannya terhadap variasi yang diharapkan.

Batas Spesifikasi Deterministik

Dalam pengembangan perangkat lunak konvensional, sebuah kebutuhan adalah kontrak yang pasti. Jika pengguna mengklik tombol tertentu, sebuah modal akan terbuka. Jika logika backend-nya benar, pengujian akan lulus. Ketika tim produk membawa pola pikir deterministik ini ke perangkat lunak berbasis AI, mereka akan menemui jalan buntu.

Seperti yang dicatat dalam studi tahun 2025 tentang rekayasa kebutuhan berbasis AI oleh Barzamini dkk., teknik verifikasi tradisional tidak memadai untuk sistem AI. Tantangannya bermula dari sifat intuitif konsep domain. Manusia secara naluriah memahami bahwa seseorang di atas papan luncur, seorang anak di kereta dorong, dan seseorang yang membawa papan selancar adalah variasi dari konsep “pejalan kaki”. Kita tidak memerlukan aturan formal untuk mengenalinya.

Namun, AI membutuhkan deskripsi eksplisit dari konsep-konsep ini. Jika seorang manajer produk menulis kebutuhan yang sekadar menyatakan bahwa “sistem harus menghindari pejalan kaki”, mereka telah menulis spesifikasi yang tidak dapat diuji. Mustahil untuk mengetahui variasi apa yang akan dikenali oleh model tanpa titik referensi yang terstruktur. Ketiadaan tolak ukur formal membuat evaluasi model menjadi sangat abstrak dan sangat bergantung pada penilaian subjektif individu.

Masalah ini semakin membesar ketika bergerak melintasi domain yang berbeda. Studi tersebut mengevaluasi persepsi di seluruh konteks otomotif dan penerbangan. Sementara “pejalan kaki” menghadirkan satu set tantangan (kursi roda, skuter, kostum), “pesawat terbang” memperkenalkan variasi semantik yang sama sekali berbeda: kendaraan nirawak, pesawat bersejarah, penerbangan umum, dan pesawat militer. Kebutuhan generik bagi AI untuk “mendeteksi pesawat” menjadi tidak berarti jika sistem hanya mengenali pesawat komersial dan sama sekali mengabaikan drone.

Kekeliruan Memperlakukan Data Sebagai Spesifikasi

Saat dihadapkan pada kasus-kasus ekstrem dan perilaku model yang tak terduga, respons default dari banyak tim produk adalah memasok lebih banyak data ke dalam model. Asumsinya adalah bahwa volume yang masif pada akhirnya akan mencakup semua variasi yang mungkin.

Studi penelitian tersebut menunjukkan bahwa ukuran sebuah dataset bukanlah indikator langsung dari kualitasnya. Faktanya, mengandalkan kumpulan data yang terlalu besar dan tidak terstruktur sering kali menyebabkan overfitting. Model menjadi terlalu disesuaikan dengan data pelatihan spesifik dan kehilangan kemampuannya untuk menggeneralisasi ke skenario dunia nyata yang baru. Data yang lebih banyak tidak menjamin hasil yang lebih baik; ia seringkali sekadar menutupi celah dalam pemahaman sistem.

Alih-alih mengumpulkan lebih banyak gambar atau teks tanpa arah yang jelas, tim membutuhkan titik referensi yang terstandar. Anda tidak dapat membangun infrastruktur keputusan yang dapat diandalkan jika kebutuhan dasar untuk apa yang harus dipersepsikan oleh model masih ambigu. Kita harus mendefinisikan batasan dari sebuah konsep sebelum kita dapat mengukur seberapa baik model memahaminya.

Menerjemahkan Pengetahuan Domain Menjadi Tolak Ukur

Untuk menjembatani kesenjangan antara intuisi manusia dan persepsi mesin, para peneliti Northern Illinois University mengusulkan pendekatan terstruktur: menggunakan ontologi formal untuk membuat set kebutuhan minimum.

Dalam kerangka kerja mereka, yang disebut W-AIS, mereka membangun jaring semantik yang menangkap berbagai topik spesifik dalam sebuah domain. Untuk konsep pejalan kaki, ini berarti mendefinisikan varian eksplisit seperti “pejalan kaki dengan tantangan fisik”, “pejalan kaki anak-anak”, atau “pejalan kaki ceroboh” (mereka yang menyeberang sembarangan atau melihat ponsel). Untuk pesawat, ontologi membagi konsep tersebut ke dalam variasi seperti “masalah mobilitas”, “teknologi deteksi”, atau “pesawat bersejarah”.

Ini mewakili pergeseran besar dari bagaimana manajer produk biasanya menulis kebutuhan. Anda tidak lagi sekadar menulis cerita pengguna; Anda sedang mengonstruksi basis pengetahuan formal dari variasi konsep. Para peneliti kemudian menerjemahkan spesifikasi bahasa alami ini ke dalam kumpulan data visual. Terjemahan ini adalah jembatan yang memungkinkan tim untuk menguji apakah model AI benar-benar mempersepsikan variasi yang diwajibkan dalam data.

Menutup Kesenjangan Persepsi dengan Explainable AI

Ujian sebenarnya dari sebuah spesifikasi dalam sistem AI adalah apakah persepsi model selaras dengan kebutuhan yang didefinisikan oleh manusia. Kerangka W-AIS menggunakan Explainable AI (XAI) untuk mengukur jarak semantik antara pemahaman yang dihasilkan model terhadap sebuah masukan dan spesifikasi formal manusia.

Sebagai contoh, ketika ditunjukkan gambar pejalan kaki di kursi roda, model AI mungkin berfokus sepenuhnya pada roda dan salah mengklasifikasikan orang tersebut sebagai “mengendarai sepeda”. Komponen XAI menyoroti dengan tepat di mana model menempatkan perhatiannya melalui peta panas (heat maps) dan penjelasan tekstual. Dengan mengidentifikasi ketidaksesuaian antara fitur model yang memiliki atensi tinggi dan spesifikasi rinci dari varian konsep, tim produk dapat melihat di mana tepatnya persepsi model menyimpang dari kebutuhan formal.

Tingkat transparansi ini mengubah cara tim mendekati proses debugging. Alih-alih menebak mengapa sebuah model gagal, tim dapat memetakan kegagalan tersebut kembali ke simpul spesifik dalam ontologi mereka yang disalahpahami oleh model.

Pelatihan Ulang yang Dipandu oleh Spesifikasi

Wawasan ini memungkinkan penyelarasan (fine-tuning) yang sangat bertarget. Daripada secara membabi buta memperluas keseluruhan dataset, tim engineering dapat mengambil contoh tambahan spesifik hanya untuk varian yang kurang dipersepsikan dengan baik. Studi tersebut mendemonstrasikan bahwa pelatihan ulang yang dipandu oleh spesifikasi ini secara signifikan meningkatkan kemampuan model untuk mengenali variasi yang kompleks, menyelaraskan keluarannya menjadi jauh lebih dekat dengan keterangan yang dihasilkan oleh manusia.

Misalnya, para peneliti mengukur kesamaan semantik antara keterangan yang dihasilkan AI dan ontologi yang telah ditetapkan. Dengan memfokuskan pelatihan ulang hanya pada area di mana jarak semantiknya paling besar, mereka meningkatkan akurasi klasifikasi untuk gambar pejalan kaki dan pesawat terbang dengan margin dua digit. Mereka mencapai ini tanpa menurunkan performa model pada variasi yang sudah dipahaminya dengan baik.

Biaya dan Realitas Implementasi

Mengadopsi pendekatan ini bukannya tanpa biaya. Membangun ontologi semantik yang komprehensif membutuhkan upaya awal yang signifikan. Hal ini memaksa tim produk dan teknis untuk memetakan domain mereka secara sistematis sebelum mereka mulai melatih model. Menerjemahkan ontologi tersebut ke dalam kumpulan data visual, baik melalui pencarian tolak ukur atau web scraping, seperti yang dilakukan para peneliti, menambah lapisan kompleksitas lain pada alur kerja.

Namun, biaya untuk tidak melakukan hal ini jauh lebih tinggi. Menerapkan perangkat lunak probabilistik tanpa cara terstruktur untuk mengukur persepsinya menjamin bahwa Anda akan menemukan titik butanya di produksi, yang sering kali mengorbankan kepercayaan pengguna atau keselamatan. Investasi di awal untuk ontologi semantik terbayar dengan mengubah evaluasi model yang subjektif menjadi proses yang objektif dan terukur.

Peran Baru Manajer Produk

Bagi para pemimpin produk, penelitian ini menandai pergeseran mendasar dalam cara kita mendekati spesifikasi produk. Pergeseran itu berjalan seiring dengan pergeseran kedua, saat spesifikasi menjadi artefak yang dibangun ulang oleh coding agent. Kita harus berhenti berpura-pura bahwa fitur AI dapat didefinisikan dengan kriteria penerimaan statis yang sama dengan yang kita gunakan untuk aplikasi CRUD.

Pekerjaan seorang manajer produk yang mengerjakan perangkat lunak probabilistik bukan lagi sekadar menulis dokumen spesifikasi. Tugasnya adalah mendefinisikan batasan persepsi. Ia harus membangun ontologi dari domain dan secara terus-menerus menguji model terhadap representasi terstruktur dari dunia nyata. Jika Anda tidak dapat secara eksplisit mendefinisikan variasi yang perlu dipahami oleh sistem Anda, Anda tidak punya cara untuk mengetahui apakah sistem tersebut benar-benar memahaminya.

Referensi

• Barzamini, H., Nazaritiji, F., Brockmann, A., Ferdowsi, H., & Rahimi, M. (2025). An AI-driven Requirements Engineering Framework Tailored for Evaluating AI-Based Software. Proceedings of the 4th International Conference on AI Engineering, Software Engineering for AI (CAIN).